Я запретил ИИ-помощнику отвечать «из головы».
Вот как это устроено
Вопрос «какой срок у декларации по НДС» не болтовня. Ошибка превращается в штраф для живого человека. А языковая модель, если не знает ответа, достраивает правдоподобный.
Поэтому помощник в Kompas работает иначе: 1. Сначала база карточек фактов: закон, статья, ссылка на официальный текст и дословная цитата. 2. Скрипт скачивает закон и проверяет, что цитата там есть слово в слово. Не совпало, карточка в работу не идёт. 3. Модель получает только подходящие карточки, и у каждой её фразы должна быть ссылка на карточку. 4. Любое число в ответе, дни, проценты, номер статьи, обязано найтись в самой карточке. 5. Фраза не прошла проверку, её выбрасываем. Выброшено больше трети, ответ не показываем вовсе.
Строгость нужна не везде. Но правило я теперь применяю всегда: где цена ошибки высокая, модель пересказывает проверенное, а не сочиняет.
Как вы проверяете, что ИИ в вашем продукте не выдумывает?
· 6 ч
Близко правило «пересказывает проверенное, а не сочиняет». Я проверяю похоже, только на интерфейсах: держу набор примеров и после каждой правки промпта прогоняю его заново. Как-то правка, которая чинила одно, на демо-наборе сделала хуже два кейса из шестнадцати. Без прогона я бы этого не заметил.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён