Open-weight LLM догнали закрытые? Проверка на продакшене

Всем привет 👋 😊

«#openweight догнали закрытые» — верно для бенчмарка и опасно для продакшена.

Отставание от фронтира — четыре месяца. Но паритет на тесте, на вашей задаче и в проде — три разные вещи.

Разбираем, как у имени эндпоинта за месяц сменились сборка и тариф и с каких 800 ГБ начинается #selfhosting флагмана.

Обсуждаем контур, где модель — заменяемая деталь, а телеметрия #LLMOps знает, кто ответил.

Ссылка на статью: https://habr.com/ru/companies/otus/articles/1077948/

Буду рад обсудить в комментариях 🤝