А Хьюман точно in the loop?

Вот в чем можно позавидовать ИИ, так это в том, что он может предложить полную ерунду и не прийти на совещание, где будут разбирать последствия.

Пример из собственного опыта -  пилим ИИ-агента по контролю ассортимента. Матрица более 300 SKU, цифры проверили, методологию согласовали, расчёты, ожидаемая экономия, и вуаля - красивый план действий по выводу SKU из матрицы. Заказчик плотно работает с нами на каждом этапе, согласовывает алгоритм, предложенные решения (цифра экономии на экране нравится), я на финальном митапе задаю еще раз один из контрольных вопросов - а не является ли этот товар-локомотивом (и к нему тогда должна применяться другая коммерческая логика) и слышу робкий голос РОПА – ээ, да, покупатели приходят за ним, остальные товары берут заодно. Ситуация максимально упрощена конечно же.

У вас есть талантливый аналитик? Кто проверяет выводы ИИ на бизнес-логику?

Что-то мне становится грустно от того, что наблюдаю повсеместно. Дали доступы, загрузили в чат, презентацию собрали, выводы показали, защитили. Сварганили сеть агентов на коленке (а чо, открытый код). Бизнес енвайронмент дал по шапке. На вопрос «Мы это как проверяли?» у всех есть содержательный ответ.  У аналитика – «модель не предупредила». У руководителя — «команда принесла расчеты», у разработчика вообще все просто – «система работала по заданным условиям». Только LLM - молодец, всегда готова извиниться за путаницу и предложить пять способов вернуть клиентов.

С развитием ИИ мы начинаем накапливать долг понимания - разрыв между тем, что используем, и тем, насколько хорошо понимаем, почему это работает и где может дать сбой. В итоге инструкцию к микроволновке читаем уже после того, как начали сушить в ней кота…

В качестве гарантии надежности мы говорим про «оставить человека в контуре». Это значит, что где-то между алгоритмом и последствиями сидит компетентный сотрудник и внимательно всё проверяет. А он точно в контуре? Иногда у него пятнадцать минут, нет доступа к исходным данным, да и работающий цифровой контур уже обещан генеральному директору. Если не получилось - сотрудник недостаточно тщательно проверил результат.

И вот его фамилию система точно сохраняет без галлюцинаций.

Короче, учим сотрудников/руководителей/заказчиков думать и задавать вопросы. Именно это бесценно, для остального есть ИИ

Ну или нанимайте нас, мы умеем 😊

А Хьюман точно in the loop? | Сетка — социальная сеть от hh.ru