Система вокруг него обязана её давать.

Для меня это один из главных принципов зрелой разработки ИИ-продуктов. Модель может вернуть неожиданный формат. Или уверенно ошибиться. Может не учесть важный контекст. Или хорошо справиться девять раз подряд, а на десятый выдать результат, который нельзя пускать дальше.

И это нормально.

Проблема начинается не тогда, когда ИИ ошибается. Проблема начинается тогда, когда система вокруг него ведёт себя так, будто ошибки быть не может.

Например, задача зависла, но оператор не понимает почему. Модель вернула кривой ответ, а система приняла его как готовый результат. Ревью не прошло, но следующий шаг всё равно запустился. Ошибка есть, но у неё нет понятного статуса. Непонятно, можно ли повторить задачу или нужен человек.

Поэтому в ИИ-пайплайнах важны скучные инженерные вещи: контракты результата, статусы, коды ошибок, проверки, артефакты, журналы, ручное подтверждение в опасных местах.

ИИ внутри системы может быть вероятностным. Но поведение продукта вокруг него должно быть объяснимым.

Хорошая ИИ-система не обещает, что модель всегда даст правильный ответ. Она обещает другое: если что-то пойдёт не так, человек и код поймут, что произошло и что делать дальше.