Почему AI Security НЕ умирает?
В последние месяцы меня не покидала мысль, что направление, которое мы обсуждаем в канале, катастрофически никому не нужно. И тому есть множество причин. Бизнесу важна гонка за фичами, а не защита от adversarial-атак или инверсии моделей — как в статьях на ArXiv. Кибербезопасность в большинстве компаний сводится к борьбе с Shadow AI: предотвращению утечек через неконтролируемое использование ИИ сотрудниками.
CISO выгоднее закрыть этот вопрос с помощью DLP, забыть о нём и не возвращаться к теме ИИ. Ведь историй, связанных с реальными инцидентами, пока немного. Большинство из них, если посмотреть на AVID, относятся либо к человеческому фактору (непреднамеренное удаление/слив данных), либо к Safety (вопросы этики и вредоносного влияния чат-ботов на пользователей). Из-за этого не создаётся впечатления, что атаки на ИИ — это нечто высокотехнологичное. Следовательно, зачем тратить бюджет на защиту от adversarial-атак или чего-то подобного? Промпт-инъекции и вовсе кажутся нерешаемой проблемой в рамках текущих архитектур LLM. Модель, к сожалению, всегда можно сбить с толку — это подтверждает масса твитов от Pliny.
Я не раз вживую обсуждал с представителями рынка вопрос: «А выживем ли мы?». Многие считали, что да, ведь в тот момент зарождался рынок, порождавший LLM-файерволы и бесконечные маркетинговые лозунги о том, что ИИ нужно защищать прежде всего от утечек PII.
Но что сейчас? Вы заметили, что Claude и OpenAI уже решают эту проблему на уровне своих моделей? Да, неточно, да, не полностью — но решают. Кажется, что первая волна стартапов в сфере AI Security гибнет: кто-то проваливается под лёд, а кого-то (как ProtectAI) поглощают крупные ИБ-вендоры.
Складывается ощущение, что безопасность ИИ должна стать сервисом внутри экосистемы, а не продуктом отдельной компании. Гиганты сразу встраивают свои защитные механизмы (AWS Bedrock Guardrails, Microsoft Azure AI Content Safety, Google Cloud Security AI Framework), лишая сторонних игроков возможности снимать сливки с рынка.
ИИ в компаниях — уже не просто API над ChatGPT, а сложная инфраструктура с потоками данных и документацией. Но кадровый разрыв огромен.
Так почему я всё-таки убеждён, что мировой рынок не умирает?
Рынок AI Security не умирает — он совершает необходимую эволюцию от гипертрофированного хайпа к фундаментальной зрелости. Мы наблюдаем не исчезновение, а трансформацию: безопасность ИИ «переваривается» индустрией, переходя из слоя разрозненных продуктов в саму ткань корпоративных процессов и платформ.
Регуляторика. Давление в мире, особенно со стороны EU AI Act с его обязательными оценками соответствия и требованиями к документированию рисков, может стать мощнейшим драйвером. Бюджеты перенаправляются уже не из кибербезопасности, а из юридических и комплаенс-департаментов, поэтому общие расходы на безопасность ИИ продолжают расти.
Новые векторы атак. Переход от простых чат-ботов к агентным системам создает качественно новые угрозы. Для защиты от них уже требуются специализированные решения уровня Action Firewalls, анализирующие не только ввод и вывод, но и поведение. Их просто пока нет на рынке.
Фундаментальная потребность в доверии к ИИ никуда не исчезает. Она лишь обретает более зрелые формы: мы переходим от эпохи маркетинговых обещаний к эре институционального управления рисками, где безопасность становится не отдельным продуктом, а «невидимым», но в то же время критически важным слоем цифровой инфраструктуры. Технологии защиты никуда не денутся — они станут базовой частью всего, что мы строим с помощью ИИ.
· 24.11.2025
Если на HTB есть задачки по этой категории и добавляются новые, значит, профессия эта не умрёт ещё много лет.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён