Небольшой эксперимент на остатки токенов на тему "заменит ли ИИ пентестеров" закончился ожидаемо.

Были задействованы разные модели и Harness, effort выкручивался так, что счетчик токенов зашкаливал, но как итог - задачи легкого уровня сложности решались - средние и выше уже нет, при том, что в Industry сегменте на Standoff 365 агенты смогли сделать боковое перемещение, поискать информацию в интернете о том, как лучше делать path traversal, но до конца средние и сложные задания так и не довели. Был забавный момент, когда одна из моделей вытащила флаг, но не поняла, что это, а другая уже нашла его в логах и сообщила об этом. Вот такая командная работа от AI.

Я все жду, когда кто-то заявит, что их модель сдала CRTO или OSCP, но пока агент так и остается инструментом в руках того, кто знает, что с ним делать.

Вывод - развиваться нужно все так же, чтобы знать, что подсказать агенту. Отмечу, что свою задачу по автоматизации рутины он выполняет на отлично. Это не полноценная замена джуна пентестера, но задачи, которые хотелось бы делегировать кому-то еще, ИИ решает.

Интересно наблюдать за развитием AI решение не только в offensive security, но и в defensive части, так как справляться SOC с такой нагрузкой вручную уже кажется очень сложным и бессмысленным.