Самая опасная фраза ИИ-ассистента — «готово»

Представьте: вы попросили ИИ переименовать 80 файлов. Он нажал несколько кнопок, не увидел системной ошибки и написал: «Готово». Но 17 файлов остались со старыми именами. Для системы команда завершилась. Для человека задача провалена. Мне кажется, главная проблема современных ИИ-агентов не в том, что они иногда ошибаются. Ошибаются все программы. Проблема начинается, когда попытку выдают за подтверждённый результат. Поэтому в Эрви я стараюсь держать простое правило: действие → повторная проверка состояния → сравнение с ожидаемым результатом → честный отчёт. Если новое имя файла не появилось, окно не открылось или сообщение нельзя однозначно считать отправленным, шаг не должен становиться зелёным. Ассистент может обновить контекст, один раз повторить безопасное действие или остановиться и объяснить причину. Это не так эффектно, как очередная демонстрация «смотрите, ИИ управляет компьютером». Зато именно здесь проходит граница между игрушкой и инструментом. Я добавил в Эрви очередь задач, статусы шагов и проверку результата. Сейчас собираю реальные сценарии, на которых эта логика всё ещё ломается. Попробовать бесплатно: https://eirven.foxyhosty.ru/ А какое действие вы бы не доверили ИИ без отдельного подтверждения результата?