В Гарварде проверили ИИ-репетитора на курсе физики. Студенты, которые занимались с ним дома, показали результат выше, чем после аудиторного занятия: медиана 4,5 против 3,5 при исходном уровне 2,75.

Сравнивали с аудиторным занятием по методике активного обучения: малые группы, поддержка учебной команды, разбор задач с преподавателем. Около девяти из десяти студентов считали, что активного обучения здесь больше, чем в других курсах Гарварда. Разрыв возник с хорошей практикой преподавания.

Интереснее другое – что пришлось добавить к GPT-4.

В системный промпт заложили педагогику: вовлечение, небольшие порции материала, помощь после ошибки. На заданиях из нескольких частей инструкция поплыла. Репетитор уходил вперёд и разбирал части вне очереди. Модель знала правило и всё равно его нарушала.

Последовательность вынесли из промпта в платформу. Интерфейс открывал части задачи по одной, и у модели больше не осталось свободы выбирать следующий шаг.

Точность пришла тоже со стороны. Преподаватели заранее написали пошаговые решения и клали их в контекст каждого вопроса. Авторы прямо пишут, что избегали полагаться на GPT-4 в самом решении задач.

Что из этого забирается в работу без своей платформы:https://ru.mysummit.school/ai-educational-cases?utm_source=telegram&utm_medium=channel • разрезать регулярную задачу по моментам проверки и давать модели один шаг за сообщение • взять один принятый командой результат и класть его в контекст как эталон • записывать причины, по которым прошлые ответы приходилось править, и превращать их в правила

Третий пункт недооценивают чаще всего. Он превращает расплывчатое «получилось слабо» в инструкцию, которую модель исполнит со следующего запуска.

И ещё одно наблюдение. Если вы пишете в промпте «остановись после каждого шага и жди подтверждения», выполнить это модели нечем: в чате нет механизма, который заставит её ждать. Ровно эту функцию Гарвард и забрал у промпта.

Мы сверились со своей платформой. Две части из трёх там есть. Педагогика живёт в системных промптах проверяющих, а правила решения ставят зачёт за применение техник главы, даже когда детали хромают. Есть и то, чего в гарвардской конструкции не было. Эталон у них всегда был один и тот же; у нас после первой неудачной попытки студент получает подсказку с пробелом, и только после второй открываются конкретные формулировки.

Порядок шагов мы держим слабее. Доступ открывается по урокам, внутри урока студент видит всё сразу. Та самая часть, ради которой Гарвард несколько месяцев писал софт, у нас сделана грубее. Взрослому человеку в своём темпе такая жёсткость нужна не обязательно, но честнее назвать это пробелом.

Для тех, кто преподаёт: бесплатный конструктор учебных кейсов Разбор целиком: промпт для проверки на своей задаче и что исследование не утверждает