https://github.com/diegosouzapw/OmniRoute

Бесплатный локальный ИИ-шлюз (AI gateway) с открытым исходным кодом (лицензия MIT), созданный для разработчиков и интеграции в редакторы кода.

  • Все ИИ в одном месте: Проект объединяет более 340 провайдеров и 1200+ языковых моделей (включая Claude, GPT, Gemini, DeepSeek, Kimi) под единым локальным эндпоинтом, совместимым с OpenAI API.
  • Огромный бесплатный лимит: Агрегирует официальные бесплатные тарифные планы сотен моделей, предоставляя суммарно около 1,51 миллиарда бесплатных токенов в месяц прямо «из коробки» (без ввода собственных платных ключей для старта).
  • Экономия на токенах до 95%: Уникальная встроенная 12-уровневая система компрессии контекста (технологии RTK и Caveman) сжимает промпты и логи терминала, сохраняя код в идеальном состоянии. Это позволяет экономить в среднем 89% затрат на токены.
  • Умная маршрутизация и отказоустойчивость: Поддерживает 19 стратегий перенаправления запросов. Если у одного провайдера кончился лимит (квота) или произошел сбой, OmniRoute автоматически и незаметно для вас переключит запрос на рабочую модель (функция auto-fallback).
  • Полная совместимость с ИИ-ассистентами: Идеально интегрируется со всеми популярными AI-плагинами и CLI-агентами, такими как Claude Code, Cursor, Cline (бывший Devins), GitHub Copilot, VS Code и Aider.
  • Кроссплатформенность: Запускается через npm, Docker, как десктопное приложение (Electron), а также на смартфонах через Termux.

Лично мне понравилось, что можно туда запихать все свои подписки и не переключаться между ними в случае отказов. Единственное, надо тонко настроить модели. Тот же opencode go начинает использоваться через дорогущий glm, что очень быстро выжигает лимиты.

https://github.com/diegosouzapw/OmniRoute
Бесплатный локальный ИИ-шлюз (AI gateway) с открытым исходным кодом (лицензия MIT), созданный для разработчиков и интеграции в редакторы кода | Сетка — социальная сеть от hh.ru