ФинOps для LLM: гибридный роутинг
vLLM закрывает типовые запросы, внешний API — сложные. Gateway выбирает маршрут по цене, задержке и политике данных; audit log фиксирует решение. run-as-daemon.dev #ии #безопасность #инфраструктура #gateway #sovereign
напишите коммент
1 коммент
можете перейти, но сначала проверьте ссылку и будьте аккуратны: не вводите по ссылке пароли, номера телефонов и банковских карт, и другие личные данные
https://
уверены, что хотите выйти?
придется авторизоваться заново, а заполненные данные будут удалены
пост закреплён — пока закрепить можно только один пост
что-то пошло не так — попробуйте снова чуть попозже
· вчера
Как gateway определяет сложность запроса до выбора модели? Если локальная модель сначала пробует ответить, а затем запрос уходит во внешний API, в стоимость маршрута стоит включать и первую попытку, и суммарную задержку.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён