А вот и бенчмарки новой модели от Антропика подьехали!
Что интересно:
- 80.8% > 93.9% на SWE-bench Verified (в сравнении с Opus)
- 77.8% > 53.4% на SWE-bench Pro (в сравнении с Opus)
Саму модель не выпустили в публичный доступ, потому что бояться, что оно всё сломает. Но они проект Project Glasswing, в котором дали доступ к модели, для проверки софта на защищенность таким, как Amazon, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, NVIDIA, Palo Alto Networks и тп.
Модель нашла zero-day уязвимости во всех основных ОС и браузерах. Тысячи критических уязвимостей, часть из которых жила незамеченной 10–27 лет.
Систем кард читать тут: https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf
