Сотрудник принес отчет, собранный с ИИ. Отчет хороший, а вот что осталось в голове у сотрудника – по нему не видно. Три независимых замера – на консультантах BCG, китайских школьниках и кандидатах на собеседованиях – показали одно и то же.
В Nature Human Behaviour вышел рандомизированный эксперимент: план анализа зарегистрирован заранее. Почти 500 консультантов, больше половины никогда не программировали. Одной половине дали ChatGPT, другой – Google и Stack Overflow. Задачи рабочие: например, свести в Python две таблицы заказов. За ноль взяли результат штатных дата-сайентистов без ИИ. В задаче на код отставание от них без модели – 63 пункта, с ChatGPT – 14.
Потом ChatGPT забрали и задали участникам пять вопросов по тем же темам. В среднем обе группы ответили верно на 71% – поровну. То есть работа с моделью получилась лучше, а в голове у обеих групп осталось одно и то же.
Еще участников до и после работы спрашивали, справится ли GPT-4 с задачей. После работы с моделью они стали увереннее, что она справится – на всех четырех задачах, которые она решить не могла. Мне кажется, это самая неприятная находка: доверие к модели растет там, где она не справляется.
Но вывод «ChatGPT мешает учиться» отсюда не следует: знания до эксперимента не замеряли. И эксперимент прошел весной 2024 года на GPT-4 – сегодняшние модели сильнее.
То же самое с китайскими школьниками: за почти 27 тысячами наблюдали 30 месяцев. Оценки за домашку с ИИ выросли на 18%, а на экзаменах, где модель недоступна, просели на 20%.
Nyrion нашла десять компаний, где кандидату дают писать код с ИИ-ассистентом прямо на собеседовании – в июне 2025 года такая была одна. Кандидаты принимали 93% предложенного моделью кода, а полностью объяснить свой код письменно смогли 9%. Оговорка: Nyrion продает платформу для собеседований, замеры – на ее участниках.
Все три замера свелись к одному: результат, сделанный с ИИ, перестал показывать, что человек умеет. Результат и навык теперь приходится проверять по отдельности.
Еще в выпуске: • переделка кода за ИИ стоит инженерам минимум 139 часов в год, а остальной счет приходит в операции, аудит и безопасность • в самом отчете Linux Foundation каждый пятый на сложных задачах тратит с ИИ больше времени, чем без него • мы пересобрали сайт, и в игре «ИИ или человек?» появилась английская версия
Разбор эксперимента с графиками – в дайджесте #26, оттуда же ссылка на промпт, который проверяет понимание.
Хотите регулярно получать такие обновления? Подписывайтесь на рассылку
