🚀 Как Lovable балансирует LLM-провайдеров

Lovable обрабатывает до 1,8 млрд токенов в минуту и использует балансировку для отказоустойчивости.

При переключении между провайдерами (Anthropic, Vertex и др.) теряется кэширование промптов, что повышает задержки и расходы. Вместо простого fallback-цепочек, Lovable использует project-level affinity: каждому проекту выделяется своя цепочка с фиксированным приоритетом. Это сохраняет контекст между запросами.

Веса провайдеров рассчитываются автоматически через PID-регулятор: при ошибках >0,5% доступность снижается. Предпочтительные провайдеры получают трафик первыми. При сбое стриминга частичный ответ пересылается в Claude для продолжения.

#llm #load_balancing #ai_infra #pid_controller #prompt_cache