ИИ-агент в продакшне: четыре поломки, которые тесты не показывают Разработчик запустил ИИ-агента для записи пациентов к врачу:живые пользователи, реальные расписания и деньги на кону. Прочитал этот кейс и честно скажу: нашел в нем кое-что новое, хотя агентами занимаюсь не первый год. Вот что сломалось👇
1️⃣ Агент отвечает без проверки Пользователь спрашивает: врач принимает в воскресенье? Агент «знает», что клиники в выходные не работают, решает без единого запроса в базу и закрывает разговор, а врач реально принимал. В итоге инструмент не был вызван ни разу.
2️⃣ Подтвердил раньше, чем проверил «Записал вас на 14:00» и только потом полез проверять доступность слота, а слот занят. В итоге пользователь сначала получил «готово», а потом «упс».
3️⃣ Инструмент говорит одно, агент отвечает другое База вернула четкий ответ: «запись невозможна, у пользователя уже есть активная». Агент прочитал это и написал: «Отлично, вы записаны на завтра в 18:00». Это системная проблема в том, как агент обрабатывает ответ инструмента.
4️⃣ Зацикливание Проверяет пятницу: нет окон. Следующую пятницу: нет окон. И так по кругу, пока не упирается в лимит контекста и просто останавливается без какого-либо ответа пользователю.
💡Живые пользователи — это другой мир. Они пишут не по сценарию, данные не всегда чистые, и ситуации, которые казались краевыми в тестах, оказываются обычной средой в бою. Каждое такое несоответствие — это либо потерянный клиент, либо сломанный бизнес-процесс, который непонятно как чинить.
Агент никогда не выходит готовым. Он тестируется, ломается, докручивается и только тогда идет к живым людям. Вопрос не в «сломается ли», а знаешь ли ты заранее что именно проверять перед запуском.
#ИИагент #автоматизация #нейросети #ChatGPT #ИИвбизнесе #агенты #искусственныйинтеллект
—————————————
Умение выстроить систему — часть того, что мы разбираем в НейроМаксе. Не «как написать промпт», а как собрать процесс который реально работает на твои задачи 👉 ed.iqido.ru/neuromax
· вчера
Записал на 14:00… - так а почему вообще в системе можно поставить слот на занятый слот? Недостаточно строгие инструкции и императивные проверки значит. Но глюки конечно могут быть.
Это кейсы скорее к ооооочень плохому проектированию. Тут не агент виноват а тот кто делал его вероятно тоже агентом и ни строчки кода руками.
Инструмент записи обязательно должен проверять доступность слота
Врач принимает? - Обязательно надо смотреть на график врача а не клиники, очевидно же
Зацикливание это вообще нечто, ллм сами даже останавливают цикл и способны понять что идут не туда, это раз. Второе - по чему не было защиты turn count??? Третье, почему не было лимита токенов? Четвертое, почему не было градиента сжатия контекстного окна?
Судя по ошибкам это не система - это, простите за резкость, хрючево.
Ошибки похоже на те, что допускают вайбкодеры, потому что нет у них мышления в сторону пограничных кейсов “а что если?”.
Банальное инженерное “а что если?”
Что если в чат пришлют пятьсот гигабайт видео? Что если пришлют туда зловредный код? Что если этого агента будут просто забавы ради дергать бесконечно? Что если тапком в грязь вступать, не упадок ли опорная балка этого здания.
ответить
коммент удалён