Наверное, тоже напишу про ИИ, только не в стиле «он всех заменит». Меня в этой теме интересует другое. Не насколько ИИ умный, а насколько надежно его можно встроить в реальные процессы, чтобы потом не разбирать последствия его уверенных ошибок.

Потому что ИИ сегодня умеет многое. Он реально ускоряет работу, помогает с рутиной, готовит черновики, ищет варианты, иногда экономит очень много времени. Но ошибаться он тоже умеет. И что особенно неприятно — ошибаться уверенно. Так, что сначала кажется, будто все логично и под контролем.

Если цена ошибки высокая, строить критичный процесс на одном ИИ-агенте — слабая идея.

Наверное, во мне здесь говорит прошлое физика-ядерщика. Когда у тебя инженерная база, ты в принципе иначе смотришь на надежность. В серьезных системах ее не строят на вере в один идеальный элемент. Ее строят через дублирование, контроль и ограничения.

Поэтому мне близка логика мажоритарного решения. Когда одну и ту же задачу независимо прогоняют через несколько моделей или агентов, а дальше смотрят, где совпал результат. Это не гарантия истины, но это уже заметно взрослее, чем просто дать одному агенту право принять критичное решение.

Нормальная схема должна быть шире. Не только несколько агентов, но и ограничения на опасные действия, проверка перед выполнением, логирование, откат и человек в контуре там, где ошибка действительно дорогая.

Если ИИ делает summary встречи или помогает с черновиком — отлично, пусть работает один.

Если ИИ может менять данные, выдавать доступы, запускать что-то в проде или делать массовые действия, экономить на контроле уже странно.

Я бы вообще не воспринимал ИИ в критичных процессах как «умного сотрудника, который сам разберется». Для меня это элемент системы автоматизации. А значит, и относиться к нему надо соответствующе.

Дорого - зато надежно. Что думаете? Спасибо коллегам, которые наталкнули на эти мысли и на этот пост.