Агент на демо и агент в проде

На демо агент отвечает безупречно. Через месяц в проде это уже другой агент.

Глеб Обломский, директор по AI-продуктам Just AI, на РБК Tech объяснил, почему так происходит.

Экономика редко позволяет поставить в прод большую модель, поэтому работают средние, а то и малые. На них разрыв между тестами и реальностью особенно велик: другие данные, нагрузка, оптимизация инференса.

Поэтому кроме харнеса «упряжи» — правил, которые держат модель в рамках, — нужен второй контур: evals. По-русски это постоянная оценка качества. Не прогон тестов перед запуском, а контроль после него. Причём всё чаще агентов проверяют другие агенты.

Мой тезис: стоимость агента определяется не на демо, а в месяцы после запуска. Заказчик, который сравнивает подрядчиков по демо, сравнивает не то.

Глеб также отметил, что в текущих реалиях месяцы для оценки эффекта может быть много, т.к. технологии шагают быстрее. Наверное, уже через 4-6 недель он бы говорил о возможности снять первые метрики и первично оценить эффект. Мы же в функциях конечно как и прежде отчитываемся месяцами/кварталами (инерция прошлой эпохи)

Я продавала корпоративный ИИ и знаю, как работает хорошее демо: оно продаёт будущее. А заказчику нужно качество во вторник через полгода.

Правильный вопрос на тендере звучит не «покажите, что умеет агент», а «покажите, как вы узнаете, что он стал хуже».

Демо показывает, на что агент способен. Evals — на что он годен.