One API — универсальный ключ для всех LLM
Обнаружили крутой open-source проект для управления API ключами ChatGPT, Gemini и других популярных LLM. Вместо кучи разных эндпоинтов — один /v1/chat/completions, который роутит запросы куда нужно.
Идеально для тех, кто хочет раздавать доступ к разным моделям через единый интерфейс. Плюс есть rate-limiting и мониторинг использования.
Фишка: работает как single binary — просто скачал и запустил. Или через Docker, если ты не из тех, кто любит усложнять.
напишите коммент
1 коммент
можете перейти, но сначала проверьте ссылку и будьте аккуратны: не вводите по ссылке пароли, номера телефонов и банковских карт, и другие личные данные
https://
уверены, что хотите выйти?
придется авторизоваться заново, а заполненные данные будут удалены
пост закреплён — пока закрепить можно только один пост
что-то пошло не так — попробуйте снова чуть попозже
· 19.05
Такой паттерн сильно упрощает когда нужно сравнить несколько моделей. Переключаешь роутинг в одном месте и смотришь что лучше на реальном трафике без изменений в коде. Единственное на что натыкаешься это фичи которые есть только у конкретной модели и через такой слой абстракции их неудобно использовать.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён