Почему я запретил ИИ что-либо менять
Когда я начал добавлять ИИ-помощника в корпоративную систему, довольно быстро появился очевидный вопрос: а почему бы не дать ему возможность не только отвечать на вопросы, но и выполнять действия?
Технически это вполне реально. Он мог бы создавать записи, менять данные, исправлять документы и участвовать в рабочих процессах. На первый взгляд это выглядит как логичное развитие системы, но я решил пойти в другую сторону.
Первая версия помощника у меня работает только на чтение. Он может искать информацию, анализировать данные, сопоставлять события и помогать пользователю разобраться в происходящем, но ничего не изменяет самостоятельно.
Причина достаточно простая. В корпоративной системе цена ошибки может быть намного выше, чем в обычном приложении. Если пользователь допустил ошибку, обычно понятно, кто и что сделал. С ИИ ситуация сложнее. Он может ошибиться очень быстро, причём его ответ при этом вполне может выглядеть убедительно.
Есть и второй важный момент. ИИ не получает каких-то отдельных привилегий внутри системы. Если у пользователя нет доступа к определённой информации, помощник тоже её не увидит. Он работает в тех же границах прав доступа.
В итоге получилось так: человек принимает решение, а ИИ помогает ему быстрее получить нужную информацию и разобраться в ситуации.
Например, вместо того чтобы открывать несколько разделов системы и вручную собирать данные, можно просто спросить, что происходило с конкретным объектом за последнюю неделю. Помощник соберёт доступную информацию, сопоставит события и выдаст нормальный понятный ответ.
Мне такой подход пока кажется наиболее разумным. Сначала ИИ должен научиться быть действительно полезным и предсказуемым, а уже потом можно постепенно давать ему больше возможностей.
Интересно, на каком этапе вы бы сами решились дать ИИ право что-то менять в рабочей системе?