🤥 ИИ-агент 3 месяца выдумывал метрики. Никто не заметил

На Reddit завирусился пост из r/analytics. Компания подключила ИИ-агента к своей аналитике – и он 3 месяца генерировал галлюцинированные метрики для дэшбордов и отчётов на уровне руководства. Вскоре автор удалил свой пост, но интернет помнит всё

Три месяца. На основе выдуманных цифр принимались бизнес-решения, собирались презентации для топов и строились планы. А потом кто-то решил проверить – и выяснилось, что данные не бьются с реальностью

Следите за руками. Я сам активно использую ИИ-агента на базе Claude Code для аналитики Карьерника – он ходит в базу, пишет SQL, крутит дэшборды и предлагает гипотезы. И я уже ловил его на том, что он выдумывает цифры

Разница в том, что я перепроверяю. Когда агент выдаёт цифру – я пробегаюсь глазами, проверяю ее на адекватность и зачастую иду смотреть, откуда она взялась. Примерно как с джуном: доверяй, но проверяй

Помните мой пост про падение метрик в PostHog? Там я писал, что первый шаг – проверить, что метрика вообще считается правильно. С ИИ-агентами этот шаг становится ещё важнее – потому что агент не просто может ошибиться в расчёте, он может уверенно выдумать число, которого никогда не существовало

У меня много раз было так, что агент делал НАСТОЛЬКО кривой график в PostHog, что стажер без опыта сделал бы лучше. Но если не углубляться, то выглядит нормально

Проблема не в том, что ИИ галлюцинирует. Проблема в том, что люди перестают проверять. Красивый дэшборд с уверенными цифрами вызывает доверие. А если ты ещё и не разбираешься в данных – тебе трудно будет поймать подвох

Такие дела. ИИ-агенты – мощный инструмент, но пока что это инструмент, который нужно контролировать. Не "заменять аналитика агентом", а "давать аналитику агента в помощь" – вот правильная формула

А вы проверяете за своими ИИ-помощниками? Или уже полностью доверяете? 👉

@tagir_analyzes

В этом посте были ссылки, но мы их удалили по правилам Сетки