Была на byteoilgas conf, слушала доклад Марии Шеховцовой и Максима Митрофанова из Positive Technologies (PT) - про практический ИИ-триаж в AppSec.

Тема узкая, зато конкретная, поэтому интересная. Триаж - это решение, которое принимает специалист: перед ним реальная уязвимость или нет. Квалифицированих кадров в ИБ до сих пор мало. Одна сработка занимает от 5 минут до 8 часов анализа, в зависимости от сложности.

Схема решения PT гибридная: PT Application Inspector разворачивается в инфраструктуре клиента, а ИИ-триаж работает в облаке PT Cloud. Продукт на стороне клиента находит срабатывание и отправляет его в облако. Сервер ИИ триажа получает файл с уязвимостью и результаты проведенного анализа. В нем живёт логика ИИ (промпты и обработка ответа) и дообученная модель, которая выдаёт вердикт.

Почему так, а не полностью on-prem? Коробочная версия у клиента обновляется примерно раз в квартал, а ИИ развивается быстрее. В гибриде продукт релизится раз в квартал, но модель на сервере обновляется постоянно по результатам тестирования передовых новинок. Плюс клиенту не нужны свои GPU и ML-команда, поэтому схема выгодна тем, у кого нет ресурсов.

Какая экономика эффекта? По статистике PT, на 1000 сработок ускорение с 30 до 15 минут даёт экономию 304 тыс. рублей. На 10 000 сработок в год - около 3 млн. При этом модель считает только ускорение ручного триажа, не учитывая отсев ложных срабатываний и дедупликацию, т.е. это минимальная оценка. Есть сложность: посчитать экономию можно только от того, что уже измеряется. А сбор метрик - признак зрелого процесса, он не везде настроен.

Как измеряют качество? Реальные уязвимости ИИ подтверждает в 100% случаев - не пропустить критичное важнее всего. Согласие по ложным срабатываниям - 63%. Открытые бенчмарки для оценки не подходят: код из open-source попадает в обучение LLM, в бенчмарках есть подсказки, а код проще, чем в энтерпрайзе (пример - OWASP Benchmark).

ИИ в подходе PT не заменяет специалиста, а снимает рутину: часть ложных срабатываний отсеивается автоматически, остальное приходит аналитику с вердиктом и понятной аргументацией. Принятие решения - за человеком.