ИИ находит, люди чинят · 4/5 https://set.ki/post/CaZhnCy

В каждом из трёх заявлений важно, как получено число.

Случай 1. Kimi K3 и Redis. В июле исследователь Chaofan Shou написал в X, что агенты на Kimi K3 нашли 19 zero-day (уязвимостей, неизвестных разработчику) в Redis (базе данных) примерно за полтора часа. 27 июля Redis ответила: в опубликованных материалах увидела три разные проблемы, и все три уже знала по bug bounty (программе вознаграждений за уязвимости). По остальным данных не видела.

Число 19 — самоотчёт, заявление не раскрыто. Redis — сторона заинтересованная, но слова проверяемы: исправления в open source вышли для двух из трёх. Это три сверенных случая, а не итог проверки 19; остальные не подтверждены и не опровергнуты.

В те же недели Moonshot, разработчик K3, оказалась в политическом споре. 22 июля Майкл Крациос, директор OSTP (Управления научно-технической политики Белого дома), заявил в X: у США есть данные, что она дистиллировала (обучала модель на ответах чужой) Fable, модель Anthropic, стороны спора; доказательств не привёл. Посольство КНР назвало это безосновательным; официального ответа Moonshot нет. 8 сентября бюллетень ведомств США повторил его без логов. К заявлению Шоу это не относится и не говорит о его верности.

Случай 2. GLM-5.3 китайской Z.ai набрала на CyberGym, тесте по уязвимостям, 84,5%, у Mythos 5 (модель Anthropic) 83,8%. В пересказах это «опередила». Числа даёт сама Z.ai, независимо их не воспроизводили. Разрыв меньше процента, доверительных интервалов (оценок устойчивости) нет.

На ExploitBench (тест Карнеги-Меллон на эксплойты) у GLM-5.3 по Z.ai 54,4% против 78,0%: «отстала». Верны обе, каждая про свой тест. Независимая оценка здесь есть: CAISI (центр стандартов ИИ США) 17 сентября получил 61,1%; методики разные, с 54,4% напрямую не сравнивать.

Случай 3. Mistral пишет, что Large 4 набирает 82% на тесте по воспроизведению и исправлению уязвимости. Число подтверждает независимый оценщик Artificial Analysis, тест гоняла она. По данным Mistral, Claude Opus 5.5 (Anthropic) и GPT-6 Astra получили почти ноль, потому что отказываются выполнять задачу; отказы подтверждает и Artificial Analysis.

Похоже, нули измеряют политику провайдера, а не способности. А 82% не чистый навык: тест засчитывает патч, закрывающий другой сбой (по Artificial Analysis, 31% прохождений у моделей без массовых отказов).

Три вопроса к заголовку: кто заявил; что подтвердил независимый источник; что измерено и на каких условиях.

Назовите заголовок об ИИ-находках, в который вы поверили последним: на какой из трёх вопросов к нему нет ответа?

—

Ранее (3/5): три режима раскрытия уязвимостей: США, Китай, Европа - https://set.ki/post/mjQrVWk

Дальше (5/5): практика на понедельник для стартапов и legacy-команд -https://set.ki/post/HWGkhYf