Почему наш чат-бот на Bedrock начал игнорировать пользователей
На прошлой неделе выкатили агента на Bedrock Converse. Уже через пару часов пользователи пожаловались на странное поведение: модель отвечает один раз, а потом просто замолкает. В логах чисто. Никаких ошибок. Просто тишина.
Оказалось, валидация сообщений в Bedrock устроена намного строже, чем дает понять LangChain. Мы наткнулись на две скрытые ловушки:
1. Атомарность инструментов (Tool atomicity): если удалить `AIMessage` без парного `ToolMessage`, Bedrock отклоняет весь тред целиком. Адаптер AWS в LangChain об этом не предупреждает — он просто молча дропает оторванное сообщение. 2. Поднятие SystemMessage (SystemMessage hoisting): любое `SystemMessage` внутри треда выдергивается в глобальный промпт. Наш маркер обрезки контекста просто исчез, из-за чего два сообщения ассистента встали вплотную друг к другу. Итог — мгновенная ошибка 400.
Как починили: переписали маппер сообщений и добавили строгие правила: - Никаких изолированных результатов работы инструментов - Никаких системных промптов в середине треда - Явная проверка очередности и соседства сообщений
Сейчас все работает. Но фундаментальная проблема осталась: абстракции LangChain текут. Когда AWS меняет правила валидации, бот ломается без единого предупреждения.
Вопрос: как вы справляетесь с расхождениями в протоколах между фреймворками и API Bedrock?
*(Ссылка на продукт в первом комментарии)*
