Всё зависит от модели и бэкенда. Если бот на инструкционной модели без инструментов - отвечать строго шаблонами из системного промпта + экранирование ввода (auto tokenizer + role template). Если мультимодальная или агентная модель (чтение файлов) - то перед ней ставится маленькая guard-модель на детекцию инъекций, либо генерация идёт в отдельном инстансе в контейнере, и уже из контейнера результат передаётся боту. Даже если будет инъекция, до бэкенда это не дойдет. И да, не юзать langchain в ботах, только прямая валидация через API. Через langchain наверное так и заражают модели в основном.

В самом конце получилось это. Потому что Гигачат не знает такого персанажа как Гаст из Майнкрафта и подставлял кого попало. Я попыталась объяснить, тк мне казалось что Гаст похож на сыр. Но это не сработало 😅

Инъекции это вообще классика уязвимостей, а с нейросетями походу приобретает новый колорит) Я думаю нас впереди ждёт много всего интересного 😂

Это что за промт - инъекция?