AI-тьютор снижает оценки студентов

Что произошло. Университет Мэриленда опубликовал результаты рандомизированного исследования собственного AI-помощника Virtual Study Assistant, интегрированного с учебными материалами. В эксперименте участвовали 2 379 студентов бакалавриата и 30 преподавателей разных дисциплин.

При сравнении групп одного курса доступ к AI-тьютору сопровождался снижением итоговых оценок на 0,37 стандартного отклонения, а активности в LMS — на 0,90 стандартного отклонения. При этом фактически использовали помощника только около 15% студентов, которым предоставили доступ.

Почему это важно. Это крупное полевое рандомизированное исследование генеративного AI-тьютора в университете. Оно показывает, что предоставление доступа к технологии само по себе не гарантирует улучшения учебных результатов.

Ограничения. Работа пока имеет статус working paper. Низкое использование инструмента, доступность других AI-сервисов и особенности внедрения не позволяют утверждать, что любой AI-тьютор ухудшает обучение.

Источник: Annenberg Institute at Brown University — полный текст исследования.