Я запретил ИИ-помощнику отвечать «из головы».

Вот как это устроено

Вопрос «какой срок у декларации по НДС» не болтовня. Ошибка превращается в штраф для живого человека. А языковая модель, если не знает ответа, достраивает правдоподобный.

Поэтому помощник в Kompas работает иначе: 1. Сначала база карточек фактов: закон, статья, ссылка на официальный текст и дословная цитата. 2. Скрипт скачивает закон и проверяет, что цитата там есть слово в слово. Не совпало, карточка в работу не идёт. 3. Модель получает только подходящие карточки, и у каждой её фразы должна быть ссылка на карточку. 4. Любое число в ответе, дни, проценты, номер статьи, обязано найтись в самой карточке. 5. Фраза не прошла проверку, её выбрасываем. Выброшено больше трети, ответ не показываем вовсе.

Строгость нужна не везде. Но правило я теперь применяю всегда: где цена ошибки высокая, модель пересказывает проверенное, а не сочиняет.

Как вы проверяете, что ИИ в вашем продукте не выдумывает?