Когда ИИ-помощник в продукте ошибается, то это повод менять его составляющие на что-то помощнее. Но одни исследователи пошли другим путём:

Они собрали диалогового агента для студентов университета по предмету. Поверх языковой модели поставили два блока: первый разбирает смысл фразы через граф знаний предмета, второй читает интонацию голоса и то, как поведение человека меняется от занятия к занятию.

Эта надстройка отвечает на один вопрос:

"В каком состоянии студент прямо сейчас: включён, застрял, на нервах?"

Состояние определялось верно: 🟠 Только по тексту — в 78,4% случаев; 🟠 Только по интонации речи — в 72,1%; 🟠 По обоим сразу — в 86,7%.

Языковая модель везде одна и та же. Разница только в числе сигналов, по которым система судит о человеке.

Пилот шёл восемь недель: 45 студентов, две сессии в неделю по полчаса, 720 диалогов, три из десяти — голосом. По стандартным шкалам PSS и AMS (воспринимаемый стресс и учебная мотивация) стресс к концу упал на 19%, мотивация поднялась на 26%, успеваемость подтянулась умеренно.

Выборка маленькая, но сигнал я считаю полезным: анализ реакции человека на ответы машины делает ее точнее.

Практический вывод переносится на любой продукт с диалогом: поддержку, онбординг, продажи.

Еще пара таких внедрений, и может нам начнут нравиться ответы ботов в поддержке 🤖