Мы научились защищать зависимости в софте ✅

Теперь нам нужно научиться защищать зависимости в ИИ.

Если задуматься, современное AI-приложение может опираться на предобученную модель, сторонние датасеты, embedding-модели, внешние API, open-source пакеты и community-интеграции. ⚙️

Каждый такой компонент — это доверие. А каждое доверие — это риск.

Мы годами выстраивали практики безопасности вокруг классической цепочки поставок ПО. 🔗

Сканирование зависимостей. Подпись пакетов. Управление уязвимостями. Воспроизводимые сборки.

Но экосистема ИИ добавляет важное усложнение.

Компоненту не обязательно содержать вредоносный код, чтобы скомпрометировать систему. 🦠

Отравленный датасет может повлиять на то, чему обучается модель. Подменённый артефакт модели может изменить её поведение. Скомпрометированный источник для retrieval может исказить то, что ассистент считает надёжной информацией.

А сторонняя интеграция может незаметно расширить реальные полномочия системы. ➡️

Что особенно интересно?

Многие из этих угроз не выглядят как традиционные уязвимости ПО. Они выглядят как вполне легитимная функциональность.

Именно поэтому, как мне кажется, безопасность AI supply chain заслуживает гораздо большего внимания. ❗️

Важно защищать не только код, который запускает ИИ.

Важно защищать всю цепочку доверия, которая вообще делает ИИ возможным. ✅

Следующее поколение security engineering будет задавать не только вопрос:

«Уязвим ли этот компонент?»

Но и другой, не менее важный:

«Почему мы вообще доверяем тому, что этот компонент нам сообщает?» ❓