Почему нейросеть лишь половина AI-продукта?

Когда мы занимались созданием голосового AI-агента по подбору вклада, в начале процесса я думала, что основной работой будет модель: промпты, поиск по базе знаний, качество ответов.

Однако позже оказалось, что одной модели было мало.

Подготовка данных занимает большую часть времени: из документов нужно собрать условия по вкладам, построить понятный и доступный формат, а также проверить, чтобы не потерялись ставки, сроки или ограничения. Потому что даже хорошая модель не сможет правильно функционировать, если в базе ошибка, неполная или устаревшая информация.

Больше всего острых углов появилось в разговорах с бизнесом: «Что агент должен делать, если клиент не назвал сумму? Какие вопросы задать, какой должен быть порядок? Что делать, если нет подходящего вклада? Что делать при ошибке?»

И наконец-то мы приступили к тестированию. На обычном запросе всё хорошо работало, однако стоило человеку построить предложение иначе или поменять условия диалога — появлялся новый сценарий, который мы не предусмотрели.

Благодаря этому опыту я поняла, что сама нейросеть — это далеко не вся работа в таких проектах. Необходимо уделять время не только созданию модели, но и подготовке данных, проработке логики и продумыванию сценариев, с которыми мы можем столкнуться.

В заключение этого поста хочу сказать, что одной качественной модели мало. Продукт сможет работать только тогда, когда продуманы все сценарии и предусмотрены все риски.

Почему нейросеть лишь половина AI-продукта? | Сетка — социальная сеть от hh.ru