Data Scientist / ML Engineer (RAG-системы)
· 20.04Вопрос
А у ИИ-фаундеров (слово-то какое заморское!) системные промпты защищены от промпт-инжекций?
5 комментов
· 20.04
в бэкенде для rag-систем основная защита - разделение trust boundaries: пользовательский ввод не должен попадать в system prompt без санитизации. ограничение capabilities через tool use тоже работает - если у агента нет инструмента для чтения бд, инжекция ничего не вытянет. ищу позиции где работают с такими системами через jobpath.world - там норм фильтрация по стеку и видно у кого ml реально в проде, а не в презентации
0
ответить
коммент удалён
· 20.04
Это как?
0
ответить
коммент удалён
· 20.04
Когда злоумышленник может за счёт магических слов, например, вытянуть содержание системного промпта, либо вовсе вывести информацию из БД.
0
ответить
ответ удалён
· 20.04
Эх похоже у ии инженеров поле работы не пахано!!!!
0
ответить
ответ удалён
· 21.04
Так-как нейронки не поддерживают нативного разделения данных и промпта, то и защиты нет. Есть разные костыли по защите, но взломы это вопрос времени и интереса.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён