arrow

назад

ask

Вопрос

А у ИИ-фаундеров (слово-то какое заморское!) системные промпты защищены от промпт-инжекций?

repost

360

input message

напишите коммент


5 комментов

Так-как нейронки не поддерживают нативного разделения данных и промпта, то и защиты нет. Есть разные костыли по защите, но взломы это вопрос времени и интереса.

0

ответить

· 20.04

в бэкенде для rag-систем основная защита - разделение trust boundaries: пользовательский ввод не должен попадать в system prompt без санитизации. ограничение capabilities через tool use тоже работает - если у агента нет инструмента для чтения бд, инжекция ничего не вытянет. ищу позиции где работают с такими системами через jobpath.world - там норм фильтрация по стеку и видно у кого ml реально в проде, а не в презентации

0

ответить

Это как?

0

ответить

Когда злоумышленник может за счёт магических слов, например, вытянуть содержание системного промпта, либо вовсе вывести информацию из БД.

0

ответить

Эх похоже у ии инженеров поле работы не пахано!!!!

0

ответить

еще контент автора

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится