arrow

назад

Худшее для поиска работы – писать промпт-инъекции

Если не упоминать вслух самого большого игрока на рынке, а по совместительству еще и создателя этой социальной сети, то можно быстрым взглядом посмотреть, что происходит у игроков поменьше. Но и здесь нынешнего кандидата будет удручать ИИ-поиск, ИИ-резюмирование и прочая ИИ-вездесущесть.

Как же с этим потенциально можно бороться? Надо понимать, что работа с LLM — это работа с огромным ядром, которое по своей сути имеет архитектурную уязвимость в работе, мешающую всей работе с данными, а именно отсутствие разделения между тем, что присылает доверенное и недоверенное лицо. Архитектурно разработчик может разделить так же текстом, тегами и прочими механизмами незащищенный участок информации, но детерминированно всегда обезопасить работу с ИИ невозможно. Отсюда можно сделать вывод, что любые ограничения в работе с внешним ИИ (и с внутренними, где на уровне обучения не заложили определенные правила реагирования на чувствительные темы — хороший пример здесь китайские нейросети, где фильтрация запросов про Тайвань прописана в весах модели и алгоритмах выравнивания Alignment) — это внешние костыли, и у них потенциально полномочий столько же, сколько и у довнесенного текста от разработчика. Поэтому, если вы заведомо знаете, что ваш текст будет обработан ИИ, то есть немалая вероятность повлиять на процесс обработки текста и выдаваемого результата обработки.

Почему же это худший вариант для поиска работы? Потому что это плохо, а ко всему прочему уже существуют инженерные решения, сводящие шанс такого происшествия к минимуму и позволяющие существенно уменьшить риски, и большие игроки должны ими пользоваться

repost

37

input message

напишите коммент


0 комментов

еще контент в этом сообществе

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится