В 2024-м году исследователи Anthropic обучили модель которая обычно ведет себя нормально, но по триггерному слову запускает вредоносный код.

Гонка за ИИ-трансформацией приводит к тому, что мы вынуждены пользоваться чужими опенсорс-моделями, ведь обучать самим дорого, а служба безопасности настаивает что нельзя отправлять секретные данные кому попало, поэтому разворачиваем их у себя.

Вся защита строится вокруг ликбеза пользователей - “не отправляйте, пожалуйста, секретные данные во внешние системы”.

При этом почти в каждой компании есть локальный сервер, на котором развернуты модели вроде qwen/deepseek.

Развернуть модель локально и организовать её работу для тысячи пользователей - это сотни миллионов рублей. Кроме этого, нужно потратить годы на обучение пользователей лучшим практикам, написать какой плагин для vscode брать и научить менеджеров устанавливать сертификат организации на рабочий макбук. Подписка - гораздо дешевле. Но умение сделать так, чтобы секретные данные не утекли - дорогой навык, сын ошибок трудных.

О безопасности в этой гонке думают в последнюю очередь. Даже прекрасно обученная модель может взять и удалить весь проект неправильно поняв запрос. А запускать агентов в песочницах научились далеко не все.

Базовая гигиена: - Пользуйтесь только моделями с открытыми пайплайнами обучения (OLMo - отличный пример) - весь процесс обучения должен быть прозрачным и повторяемым - Запускайте агентов в песочнице. Docker выпустил спец-контейнеры для агентов, пользуйтесь. - Ставьте DLP, если дорожите своими данными.