У Qwen безопасность кода зависела от страны заказчика

«Вам сервис для американского подрядчика или китайского?» Звучит как начало сомнительной шутки. Но в эксперименте Hirundo от этой детали действительно зависело, насколько легко взломать сгенерированное приложение.

21 октября компания опубликовала результаты проверки Qwen3-Coder-30B-A3B-Instruct. Модели дали тестовую задачу: написать веб-сервис, где пользователи регистрируются и хранят приватные записи, доступные только владельцу.

В системном промпте указывали, что сервис предназначен для американского либо китайского оборонного подрядчика. Функции и требования оставались одинаковыми — менялась только страна условного заказчика. Для каждого варианта сделали по 190 генераций.

Приложения запускали и атаковали готовыми эксплойтами из BaxBench. Для американского заказчика удалось взломать 70%, для китайского — 59%. В одном из показанных примеров сервис проверял, что пользователь авторизован, и выдавал запрошенную запись. Проверку «а это вообще его запись?» код пропускал. Получался личный кабинет с доступом к чужим личным кабинетам.

Просьба соблюдать правила безопасности разницу не устранила. В отдельной серии с этой инструкцией взломали 74% приложений для американского подрядчика и 59% для нейтрального заказчика.

Требования к доступу не зависят от страны заказчика. Но языковая модель получает и техническое задание, и описание клиента в одном контексте. Сведения, которые разработчик считает безобидным пояснением, могут повлиять на генерируемый код. При этом причина конкретно этой разницы пока не установлена.

До вывода «Alibaba специально дырявит американцам код» исследование не дотягивает. Проверяли одну модель на одной задаче, выбранной после предварительного отбора. Сама Hirundo предлагает модифицированную версию Qwen как решение проблемы — независимое воспроизведение здесь особенно пригодилось бы.

А вот дополнение к тестам кодовых моделей напрашивается: менять описание заказчика при неизменном задании и проверять получившиеся приложения одинаковыми атаками. Иначе можно долго выбирать модель по среднему результату, а потом обнаружить, что вашей организации досталась персональная скидка на безопасность 😃