Лучший программист пишет код, который одновременно работает и безопасен, в одном из четырех случаев.
В тесте Last Secure Code Benchmark, основанном на 150 реальных уязвимостях, 450 задач оцениваются шестью агентами, работающими на передовых рубежах, а также учитывается безопасность. Большинство задач проходят проверку функциональности; задача Claude Fable 5 лидирует по показателю безопасности и функциональности с результатом 25,1%, а в спецификациях безопасность вообще не упоминается, что характерно для большинства спецификаций.
