Open-weight LLM догнали закрытые? Проверка на продакшене
Всем привет 👋 😊
«#openweight догнали закрытые» — верно для бенчмарка и опасно для продакшена.
Отставание от фронтира — четыре месяца. Но паритет на тесте, на вашей задаче и в проде — три разные вещи.
Разбираем, как у имени эндпоинта за месяц сменились сборка и тариф и с каких 800 ГБ начинается #selfhosting флагмана.
Обсуждаем контур, где модель — заменяемая деталь, а телеметрия #LLMOps знает, кто ответил.
Ссылка на статью: https://habr.com/ru/companies/otus/articles/1077948/
Буду рад обсудить в комментариях 🤝