Всем привет 👋 😊

Дашборд зелёный, метрики ровные — а поддержка каждую неделю приносит скриншоты с уверенно неправильными ответами.

Знакомо?

Разбираем 7 ошибок в оценке качества и наблюдаемости #LLM-систем: от проверки «на глаз» до судьи, которого никто не калибровал.

Плюс — где этот контур не окупается.

#LLMOps и #Observability перестали быть темой дата-сайентистов: это часть эксплуатации обычного продакшена.

Ссылка на статью: https://habr.com/ru/companies/otus/articles/1067748/

Буду рад обсудить в комментариях 🤝