LLM-роутеры: зарубежные модели без VPN и приседаний
Я в основном для своих задач пользовался SourceCraft Assistant, и мне хватало. Когда упирался в лимиты, переходил на модели, которые доступны в Yandex Cloud, но тарификация по токенам больно била по кошельку. Ещё есть Алиса Pro в режиме чата (стараюсь поддержать отечественные решения), но удобнее, когда всё в одном пространстве, т.к. в качестве агента использую OpenCode - мне понравилось в нём работать, плюс SourceCraft Assistant использует его в своём решении. Но стал чаще наталкиваться на мысль, что из информационного поля упускаю модели зарубежных крупных игроков. Не хотелось использовать VPN для доступа к моделям и делать приседания с оплатой, особенно если хочешь посмотреть решения от различных провайдеров.
И как решение есть LLM-роутеры: агрегируют в себе несколько моделей от различных компаний и предоставляют к ним доступ по сути по OpenAI API с понятной тарификацией. Зарегистрировался, закинул на счёт - и пользуйся. Для меня это оказалось очень удобным решением. Но столкнулся с тем, что на рынке подобных сервисов развелось очень много, и явного лидера нет - мне было трудно выбрать. Не хотелось регистрироваться на одном, потом на втором. И тут на глаза попалась (далее не реклама) страница Selectel ИИ-роутер. Я сначала удивился - у меня уже там была учётная запись, поэтому сразу решил попробовать.
Меня встретил простой интерфейс и понятная документация. Создаёшь роутер, создаёшь токен доступа. Как на роутер, так и на токен можно выставить лимиты по потреблению в рублях (это важно, иначе можно уйти в минус). Вкладка с перечнем моделей, а их уже на дату публикации 397, описанием и их стоимостью. По API можно запросить перечень моделей со стоимостью, закинуть в LLM и попросить подобрать оптимальную модель под задачу и бюджет. Так как всё совместимо с OpenAI API, это просто настраивается в OpenCode: подключил, потестировал - работает. `DeepSeek V4.1 Flash` оказался дешевле, чем в Яндексе.
Для интереса прошёлся по другим провайдерам, где у меня были учётные записи. И у хостинг-провайдера Jino тоже нашёл AI gateway. Всё практически так же: создаёшь токен, настраиваешь OpenCode - и готово. Лимиты тут на токен доступа не в рублях, а в токенах. Можно выставить срок жизни токена, чего нет у Selectel.
Для сравнения стоимости взял модель, которую предоставляют указанные провайдеры. `DeepSeek V4 Flash` (за 1 млн токенов): - Selectel (ревизия r 0423) - Input 9,50 ₽, Output 19,00 ₽ - Jino - Input 18,90 ₽, Output 37,80 ₽ - Yandex Cloud - Input 300 ₽, Output 500 ₽
Я не берусь говорить, кто лучше, а кто хуже - под каждую задачу свой инструмент. Но для моих повседневных задач бюджет оказался значительнее других показателей.
Если кто-то уже пробовал другие LLM-роутеры, поделитесь своим мнением.
