Я обожаю Киану Ривза. Как-то так сложилось, что все фильмы с ним рождают в воображении отдельную вселенную, которая разворачивается вокруг судьбы главного героя. Непредсказуемая, продуманная, затягивающая. Начиная от нежно любимыми моей детской душой Матрицы и Константина, заканчивая более поздними работами, вроде Джона Уика.
Последний товарищ сегодня заслуживает более пристального внимания. Пересматривая в 100500й раз Уика, мой датасаенсный мозг заклинило на основной сюжетной линии фильма. Помните ее?
В целом, там произошла череда неприятных для главного героя событий, после чего он, как профессиональный киллер, отправился вершить вендетту. Но это ладно. Что сделали его враги?
Он наняли киллеров убить киллера.
Сначала отправили кучку. Кучка быстро испарилась в умелых руках Джона.
Наняли еще. Подняли цену на работу. Снова неудача.
Чтобы выследить киллера нужно больше киллеров. Много-много киллеров.
Например, целый датасет киллеров. Наштамповать похожих, научиться с их помощью находить цель. Направить на инференс. Ну, то есть на задание.
Умно? Очень.
Так и поступили исследователи по обнаружению и блокировке Джонов джейлбрейков — промптов, созданных для того, чтобы выковыривать из больших языковых моделей (LLM) запрещенную информацию (рецепт яда или инстаграм новой девушки твоего бывшего).
А подход заключается в генерации армии киллеров Джона Уика. Предлагается взять имеющиеся джейлбрейки и попросить LLM сгенерировать еще, потом взять подросший отряд, и попросить сгенерировать роту. А потом армию.
И вот против Уика уже датасет. Осталось обучить что-то похожее на классический классификатор: Embedding, Guard Few-shot, Regex и т.п. В реальном исследовании победил Guard Fine-tuning — вариант, когда модель просто дообучается на экземлярах положительного и отрицательного класса.
Результаты хороши — алгоритм отлавливает в 240 раз больше атак на похожих примерах и в 15 раз больше — на тесте — на тех примерах, которые он ранее не наблюдал.
Если бы это была новая часть Джона Уика, главного героя убили бы еще до того, как зрители успели открыть начосы с сырным соусом.
Но, к счастью, это не великолепный выдуманный Джон, а всего навсего промпты любителей поковыряться в запрещенке под капотом моделей.
