На первый взгляд это очень плохая метрика.

Мы развиваем Qompas OPS - рабочую систему для B2B-лидген-проектов. На прошлой неделе она обработала реальную выборку из 1248 компаний.

Результат: 1241 требует дополнительной проверки. 7 не подходят. 0 новых подтверждённых.

Сначала выглядит так, будто продукт стал работать хуже. Но причина результата оказалась для нас гораздо интереснее самой цифры. Система перестала автоматически превращать слабый сигнал в уверенное решение.

Например, найден человек с подходящей должностью и Telegram. На первый взгляд контакт готов. Потом выясняется, что информация о его работе в компании уже устарела. На небольшой базе это легко заметить вручную.

При объёме 1248 компаний даже одна минута проверки каждой записи превращается более чем в 20 часов работы. И здесь я стал иначе смотреть на эффективность AI.

Обычно компании считают: сколько действий автоматизировано; сколько объектов обработано; сколько времени сэкономлено.

Полезно добавить ещё один вопрос: сколько сомнительных решений система остановила до того, как они создали лишнюю работу дальше по процессу?

Одна ошибка на входе легко превращается в поиск неправильного человека, работу со старым контактом, лишнюю коммуникацию и дальнейший ручной разбор. Поэтому большая очередь «требует проверки» уже не кажется мне плохой метрикой сама по себе.

Это места, где системе пока не хватает оснований для уверенного решения. Но развитие этой логики сразу открыло следующий уровень проблемы.

В одном из реальных проектов Qompas показывает: 68 компаний подходят. 13 требуют проверки. Пользователь нажимает: «Проверить 13 компаний». И задаёт простой вопрос: «Что конкретно мне нужно проверить?»

Теперь работаем уже над этим.

Система должна уметь показать человеку не только сам факт неопределённости, но и конкретный пробел: чего не хватает, почему это влияет на решение и какое действие поможет его закрыть.

Про этот этап расскажу отдельно.

Интересно мнение коллег: способность AI сказать «данных недостаточно» повышает ваше доверие к системе или рабочий инструмент всё-таки должен почти всегда давать конкретный ответ?