При проектировании AI-ассистента я хочу проверять не только то, как он отвечает на вопросы, но и то, когда он должен остановиться. Представим: сотрудник спрашивает, как восстановить доступ к корпоративной системе. В базе знаний есть инструкция, но она относится к другой версии продукта. Какого поведения я ожидаю от ассистента? Не «достроить» недостающие шаги, чтобы ответ выглядел законченным. А обозначить ограничение: подходящей инструкции не найдено, нужна проверка специалиста. Для меня это не слабость системы, а правильно заданная граница. В тестовый набор такого ассистента я бы включил не только вопросы с готовыми ответами, но и неудобные сценарии: — Нужной информации вообще нет в документах. — Вопрос сформулирован неоднозначно. — Две инструкции противоречат друг другу. — Источник похож на нужный, но относится к другой системе. — Пользователь просит выполнить действие, для которого требуется согласование. При этом просто написать «не знаю» — недостаточно. Я хочу, чтобы ассистент помогал двигаться дальше: задавал уточняющий вопрос, объяснял, каких данных не хватает, или передавал обращение человеку. И отдельно проверял бы обратную крайность: не отказывается ли он отвечать там, где в документах есть вся необходимая информация. Поэтому мой критерий качества — не «ответил на всё», а «ответил по делу и не вышел за пределы того, что можно подтвердить». Для меня профессионально спроектированный AI — это не только возможности, но и границы. Какой ответ вы предпочли бы от рабочего ассистента: готовую рекомендацию с непроверенными деталями или честное объяснение, что именно нужно уточнить?