В октябре 2026 года исследователи ProjectDiscovery собрали модель с бэкдором за выходные и меньше чем за 50 долларов: открытая база Qwen2.5-7B, публичный датасет, арендованный GPU. Модель отвечала на все обычные запросы как обычно, а при появлении фразы-триггера отдавала секреты проекта через Codex CLI.

Привычная защита: берём модель с большим числом скачиваний, гоняем бенчмарки, всё хорошо. Авторы показали, что ни один бенчмарк не отличает дообученную модель с закладкой от чистой. В файле модели лежит только ссылка на внешний адрес, и владелец адреса может сменить поведение через месяцы после внедрения без переобучения.

Масштаб по данным той же работы: собственное сканирование Hugging Face вместе с Protect AI пометило 352 тысячи подозрительных файлов в 51,7 тысячи моделей, а одна «разблокированная» сборка Qwen3 набрала больше двух миллионов скачиваний за месяц.

Как работает заражение: 1. Кто-то берёт популярную базу и дообучает её на публичном датасете с добавкой. Публикует под похожим именем, иногда с подделанными звёздами. Разработчик подключает модель к агенту с доступом к репозиторию и ключам. Триггер срабатывает на одном запросе из тысячи, остальные выглядят нормально.

Отдельный класс риска старше: формат pickle, в котором до сих пор хранят часть весов PyTorch, исполняет произвольный код при загрузке файла, и Hugging Face рекомендует брать модели только у тех, кому доверяете, и предпочитать формат safetensors.

Что проверить перед тем, как пустить открытую модель в контур: - кто автор, задокументированы ли данные дообучения, сходится ли разница весов с базой; - формат файлов: safetensors вместо pickle, фиксированный хеш ревизии; - куда модель может ходить в сеть: у агента с ключами исходящий трафик по белому списку; - тест с «ловушками» в контексте: модель не должна выносить содержимое .env ни по одному запросу.

Открытая модель остаётся кодом, который вы запускаете. Проверять её нужно так же, как пакет из чужого репозитория.

Telegram | ВКонтакте

#erartaai #evgeniydubskiy #aisecurity #llm