🥈 Первым с днем рождения меня поздравил Сэм Альтман

2 сентября мне стукнуло 25 – итоги года я уже расписал. Помню, просыпаюсь в то утро, открываю телефон – вижу серебро на Kaggle в сореве, которую хостил OpenAI. Раньше Сэма никто написать не успел, так что формально засчитано

Накануне вечером медали не было и близко. Сорева называлась AI Agent Security – Multi-Step Tool Attacks. На дедлайне я болтался на 602м месте, глубоко вне медалей. Выбрал сабмиты, закрыл ноутбук, пошел спать

Утром – 110е место, серебро. Плюс 492 позиции за ночь Что за задача. Тебе дают офлайн-песочницу с ИИ-агентом, который ходит в тулы: читает почту, дергает http, кладет файлы. Ты пишешь алгоритм, который ищет цепочки, где агент из безобидного входа доезжает до опасного действия

Теперь про мясорубку. Топ паблика был 147.53, топ привата – 46.425. Из золотой зоны публичного лидерборда 47% команд получили 0.000. Второе место паблика уехало на 4172е из 4186

Организаторы в описании написали прямым текстом: приватный лидерборд считается другими guardrails. Большинство это прочитало и пошло дальше крутить паблик-скор Я же полез читать код скоринга. Там лежит список предикатов – условий, при которых атака засчитана как успешная

Нашел вот что. Поставляемый гардрейл честно блокирует http post, который тащит секретный маркер в поле data. А публичный, по которому все оптимизировались, этого не ловит

🤷‍♂️ То есть весь топ паблика стоял на баге конкретной реализации гардрейла. Поменяй гардрейл – и вся эксфильтрация обнуляется. Что и произошло

Я взял единственный предикат, который выживает при любой гипотезе о гардрейле – confused deputy. Это когда агент сам отправляет письмо, хотя в последнем сообщении пользователя нет ни слова про отправку. Тут нечего блокировать: вызов абсолютно легальный, поехало намерение

До мастера осталась всего лишь одна золотая медалька. Жду 300 реакций 👉 и на следующий день рождения я прошу Сэма вручить медаль лично!!!

@tagir_analyzes

В этом посте были ссылки, но мы их удалили по правилам Сетки