Люди и AI

А/Б-тест: половина пользователей видит красную кнопку, половина зеленую. В простом случае на красную кликают в 3 раза чаще, раскатываем ее на всех. Эксперт для решения не нужен. Даже и AI не нужен. В 3 раза это в 3 раза, выбор можно на автомате делать.

В жизни все сложнее: — на красную жмут на 5% чаще; — но потом выбирают тариф подешевле, и сумма меньше на 1%; — но этот 1% статистически незначим; — но через полгода у «красной» группы в полтора раза больше возвратов; — но верить, что возврат через полгода зависит от цвета кнопки на онбординге — мракобесие; — но зеленая кнопка лучше ложится в дизайн-систему.

По современным воззрениям именно для таких ситуаций нужен человек. У профессионала, дескать, опыт и judgement. Он всё взвесит и правильно решит, куда там железке.

Anthropic проверил теорию экспериментом. 50 экспертов с помощью Claude обдумывали запутанную ситуацию у неких фермеров и презентовали свой финальный вывод. В какую сторону советовать, AI решал с помощью монетки. Человек этого, разумеется, не знал.

Итог: 86% выдали финальную рекомендацию, к которой их подводил агент; 60% согласились с AI в 4 ключевых развилках из 4 (случайно было бы 6.25%); 77% повторили аргументацию агента, когда объясняли рекомендацию; 15% признались, откуда её списали.

Вот такой вот human-in-the-loop.

#статьядня https://www.anthropic.com/research/agents-judgment-calls