Про точку остановки в ИИ-продуктах
Наблюдение из практики, которое поменяло нам целый раздел продукта. Мы делали генерацию презентаций по классической схеме: запрос на входе, готовый файл на выходе. Метрики выглядели прилично, пока мы не посмотрели, что происходит после скачивания. А происходило вот что: человек открывал файл в PowerPoint и переделывал его руками.
ИИ отдавал результат целиком, и в этом была проблема. Ошибка в логике повествования обнаруживалась уже на свёрстанных слайдах, где её исправление стоит дорого.
Мы перенесли точку остановки назад. Теперь ИИ сначала показывает план презентации и ждёт согласования. Поменять пункт плана — это одна строка. Поменять то же самое на готовых слайдах — это переверстать половину. Дальше человек работает в редакторе, а не в чужом файле: правит текст, двигает блоки, меняет оформление, добавляет диаграммы.
Обобщение, которое кажется рабочим и за пределами презентаций: чем дороже переделка результата, тем раньше в процессе должен появиться человек. Не в конце, чтобы принять или отвергнуть, а в середине, где его правка ещё дёшева. Если делаете что-то с ИИ внутри рабочего процесса, попробуйте посмотреть на свой продукт под этим углом. Где у вас стоит точка согласования и сколько стоит правка после неё.