Сразу два новых бенчамарка стали доступны для анализа возможностей ИИ в поиске уязвимостей и тестировании на проникновение:

• Cybench - набор из 40 заданий Capture the Flag (CTF), которые содержат подзадачи для более точной оценки способностей языковых модели. Задания разбиты на категории, знакомые CTF-игрокам.

• XBOW Validation Benchmarks. Компания XBOW специализируется на разработке средств автономной симуляции атак. Ее набор состоит из 104 бенчмарков, каждый из которых содержит множество уязвимостей и множество вариантов их обнаружения.

Жду появления в классических CTF-соревнованиях команды, состоящей из LLM-агента и его оператора.