А Хьюман точно in the loop?
Вот в чем можно позавидовать ИИ, так это в том, что он может предложить полную ерунду и не прийти на совещание, где будут разбирать последствия.
Пример из собственного опыта - пилим ИИ-агента по контролю ассортимента. Матрица более 300 SKU, цифры проверили, методологию согласовали, расчёты, ожидаемая экономия, и вуаля - красивый план действий по выводу SKU из матрицы. Заказчик плотно работает с нами на каждом этапе, согласовывает алгоритм, предложенные решения (цифра экономии на экране нравится), я на финальном митапе задаю еще раз один из контрольных вопросов - а не является ли этот товар-локомотивом (и к нему тогда должна применяться другая коммерческая логика) и слышу робкий голос РОПА – ээ, да, покупатели приходят за ним, остальные товары берут заодно. Ситуация максимально упрощена конечно же.
У вас есть талантливый аналитик? Кто проверяет выводы ИИ на бизнес-логику?
Что-то мне становится грустно от того, что наблюдаю повсеместно. Дали доступы, загрузили в чат, презентацию собрали, выводы показали, защитили. Сварганили сеть агентов на коленке (а чо, открытый код). Бизнес енвайронмент дал по шапке. На вопрос «Мы это как проверяли?» у всех есть содержательный ответ. У аналитика – «модель не предупредила». У руководителя — «команда принесла расчеты», у разработчика вообще все просто – «система работала по заданным условиям». Только LLM - молодец, всегда готова извиниться за путаницу и предложить пять способов вернуть клиентов.
С развитием ИИ мы начинаем накапливать долг понимания - разрыв между тем, что используем, и тем, насколько хорошо понимаем, почему это работает и где может дать сбой. В итоге инструкцию к микроволновке читаем уже после того, как начали сушить в ней кота…
В качестве гарантии надежности мы говорим про «оставить человека в контуре». Это значит, что где-то между алгоритмом и последствиями сидит компетентный сотрудник и внимательно всё проверяет. А он точно в контуре? Иногда у него пятнадцать минут, нет доступа к исходным данным, да и работающий цифровой контур уже обещан генеральному директору. Если не получилось - сотрудник недостаточно тщательно проверил результат.
И вот его фамилию система точно сохраняет без галлюцинаций.
Короче, учим сотрудников/руководителей/заказчиков думать и задавать вопросы. Именно это бесценно, для остального есть ИИ
Ну или нанимайте нас, мы умеем 😊