Проверь каждую строку
Я был уверен, что самый надежный способ проверить текст от ИИ – попросить модель сверить каждое утверждение с исходными данными. Строго, построчно, ничего не пропуская.
Проверил это на дюжине последних моделей. Кейс такой: ИИ сделал презентацию статуса проекта для управляющего комитета, рядом лежат исходные данные, в презентации пять ошибок. Одна из них – то, чего в презентации нет.
И построчная сверка в целом нашла чуть больше. Но пропуск модели стали замечать реже: в 76% ответов вместо 89% у простого «проверь». Модель проверяет то, что написано, а того, чего не написано, для нее как бы не существует. Для комитета это как раз самая дорогая ошибка.
А лучше всего сработала совсем другая строка. Я просто написал в промпте, какое решение примут по этой презентации. Все пять ошибок нашлись в 88% ответов. Почему так, у меня есть версия, но это пока версия.
Об этом я рассказал на конференции, доклад называется «Уверенный, правдоподобный, неправильный: как проверять работу, которую сделал не человек». В докладе был практикум, и его можно пройти сейчас: • сначала найти ошибки руками, минут 5 • потом написать свой промпт и запустить его сразу на трех моделях • модель-судья посчитает, сколько ошибок нашла каждая
Поэтому мне интересно, сколько ошибок найдут люди до того, как спросят ИИ. Кажется, что ошибки в чужом статусе видно сразу. Но текст от ИИ написан гладко и уверенно, и глаз на нем скользит.
Возможно, руками вы найдете больше, чем ваш промпт. А возможно, и нет
Запись доклада будет в рассылке в ближайший вторник
В этом посте были ссылки, но мы их удалили по правилам Сетки
