Ах, обмануть меня не трудно!.. Я сам обманываться рад!

Все чаще наблюдаю как люди восторженно пишут про то как AI делает им аналитику 📈, о том, как это удобно и не надо ничего мудрить с базами данных.

Тут можно было бы скучно описать, как работает LLM и почему эти данные могут быть некорректными, но я решил просто проверить.

Взял небольшую табличку с пользователями на 1.6к строк (в статистике обычно работают с миллионами строк).

Загрузил эту табличку в NotebookLM (он известен своим большим контекстом, а значит, подходит) и попросил привести мне простую статистку: сколько в таблице пользователей, сколько мужчин/женщин и т.д. Все данные в табличке есть, надо просто посчитать.

AI выдал мне информацию, что у меня 265 пользователей😅, 185 таких, 80 сяких... Думаю, можно не продолжать🤦.

⛔️Нельзя доверять LLM, особенно в математике (думал, уже все давно знают...). Единственное, как может помочь AI с аналитикой - это написать вам SQL запрос, который вернет данные, и, может быть, накидать идей для проверки.

На ум пришел пример из фитнеса: есть понятная и доказанная схема для похудения - сжигать больше калорий чем потреблять. Но это сложно... люди готовы заниматься ерундой, веря в волшебную таблетку (хотя оземпик работает 😄)