Прогнал 1000 звонков через ИИ: что вышло

Решил проверить на практике — какой ИИ реально работает в российском бизнесе.

Взял 1000 записей звонков (запись на услугу, статус заказа, FAQ, жалобы) и прогнал через GPT-4o, Claude 3.5 и наш ИИ.

GPT-4o — красивые ответы, но ошибается в цифрах. Спросишь «сколько стоит доставка» — назовёт цену из общих знаний, а не из прайса компании. Точность ~78%.

Claude — умный, но медленный. 2-3 секунды на ответ. В голосовом диалоге это вечность. Точность ~82%.

Наш ИИ — 94%. Потому что обучен на конкретном бизнесе, знает цены, адреса, интегрирован в CRM.

Вывод простой: универсальные модели — это классные помощники для личного использования. Но для бизнеса нужен ИИ, который знает твой продукт.

Есть желание протестировать — пишите, обсудим.

Прогнал 1000 звонков через ИИ: что вышло | Сетка — социальная сеть от hh.ru