Сегодня поговорим о рисках. Самая опасная часть предложения LLM может выглядеть как самое разумное упрощение: убрать промежуточную проверку.

Представим отчёт, который перед отправкой просматривает сотрудник. На первый взгляд он просто тратит время на повторную проверку того, что уже собрала система. Модель предлагает отправлять отчёт автоматически.

Но сотрудник замечает не только ошибки в отдельных полях. Он видит необычные сочетания: резкий рост показателя, две похожие заявки, сумму, которая формально проходит ограничение, но не похожа на обычную. В инструкции это может быть не описано. Опыт хранится не в форме, а в голове.

Отсюда не следует, что ручную проверку нужно сохранять навсегда. Следует другое: прежде чем убрать операцию, нужно понять, какую ошибку она помогает заметить.

Возможны разные варианты:

- система сама проверяет известные отклонения; - подозрительные случаи попадают в отдельную выборку; - сотрудник просматривает не весь отчёт, а только исключения; - правило передаётся в инструкцию или учебные примеры; - проверка остаётся ручной, если цена пропуска слишком высока.

Плохой вопрос в обозначенной ситуации звучит так: «Можно ли убрать этот шаг?» Хороший - иначе: «Какой риск исчезнет из поля зрения, если мы его уберём, и чем этот риск будет обнаруживаться?»

Иногда ручной контроль действительно оказывается ритуалом. Но сам факт, что опытный сотрудник что-то замечает, ещё не доказывает пользу проверки. Нужно выяснить, какие отклонения она обнаруживает, как часто это происходит и что делают после обнаружения. Автоматизировать нужно не обязательно саму проверку, а подтверждённую функцию контроля.

LLM может быстро предложить короткий маршрут. Но только человек способен решить, приемлема ли цена ошибки на этом маршруте.

Какие ручные проверки в вашей работе действительно дублируют систему, а какие обнаруживают то, чего система пока не видит?