10 минут»

Да, сегодня реально можно за 10 минут собрать демку бота, который красиво отвечает по базе знаний, что-то там уточняет и даже делает вид, что собирает заявки.

На презентации это выглядит как магия. НО проблема в том, что реальный бизнес начинается сразу после демки.

Как только появляются нестандартные вопросы, контекст, эмоции, ошибки пользователя — всё это “чудо за 10 минут” начинает сыпаться или просто не работать как планировалось.

ИИ галлюцинирует! И я вам открою страшную тайну – он не может не галлюцинировать.  Он будет смотреть вам в глаза и спокойно придумывать факты. Уверенно говорит, что «заявка оформлена» или «менеджеру передал», но при этом он не сделает ничего. Спокойно будет выдумывать вещи которых нет, например адрес, даже если у вас явно прописано по-другому (проверено неоднократно).

Для демки норм, вы даже не сможете это увидеть, но для реального бизнеса это самый опасный момент. Потому что ты думаешь, что процесс работает, а он не работает. Ты теряешь заявки, теряешь клиентов и даже не понимаешь, где именно. Потому что за «10 минут» ты не сможешь даже нормально все залогировать, чтобы понимать а где собственно говоря проблема?

Вы скажете, да ты просто используешь не правильную модель или не умеешь писать промпты. Но я вам отвечу нихера - это не сильно зависит от модели (по крайней мере на сегодняшний день). Потому что сама модель это лишь вершина айсберга. Да более дорогая модель будет работать возможно лучше, но не в разы и не дает гарантий что не будет галлюцинировать, особенно если у вас достаточно сложный процесс с большим количеством условий.

Нужна обвязка: контроль действий, проверка вызовов, состояние, логика, валидация, обработка ошибок. По сути — нормальная инженерная система вокруг ИИ.

Без этого это не продукт. Это игрушка для демо.

Я уже несколько месяцев с этим живу каждый день, и чем глубже копаю, тем очевиднее становится: ИИ — это мощный инструмент, но сам по себе он не решение.

Поэтому, когда вам рассказывают, что «мы за вечер внедрим вам ИИ-менеджера и он всё закроет» – шлите его на**й просто задайте один вопрос:

«Как вы проверяете, что он реально сделал действие, а не просто сказал, что сделал?» В этот момент обычно становится тихо.