👨🏻💻 Anthropic показала одно из своих тестовых заданий
Наткнулся на прекрасный репозиторий: архивное тестовое задание Anthropic для позиции Performance Engineer.
Почему архивное? Потому что компания перестала давать его кандидатам. Причина: потому что Claude Opus 4.5 начал решать его лучше большинства кандидатов-людей за 2 часа.
⚙️ В чем суть задачи: Вам дается симулятор кастомной VLIW SIMD архитектуры, написанный на Python (perf_takehome.py). Ваша задача — написать Python-код, который генерирует ассемблерные инструкции для этой виртуальной машины, чтобы оптимизировать проход по дереву и хеширование. То есть нужно: — Руками менеджить память (scratchpad). — Параллелить инструкции (VLIW — Very Large Instruction Word). — Укладываться в лимиты слотов исполнения (ALU, Load/Store, Flow). — Использовать векторные инструкции (SIMD).
В репозитории лежат бенчмарки (submission_tests.py):
🔘 Baseline (стартовый код): ~147 734 такта. 🔘 Claude Opus 4.5 (за 2 часа): ~1 579 тактов. 🔘 Claude Opus 4.5 (лучший прогон): ~1 363 такта. 🔘 Лучшие люди: еще быстрее, но Anthropic тактично молчат, насколько велик разрыв.
То есть ИИ выдает 100x speedup на низкоуровневой оптимизации под выдуманную архитектуру, документацию к которой он видит впервые в промпте.
🤪 Почему люди проигрывают? Чтобы получить хорошее решение тут нужно понимать: — Instruction Level Parallelism (ILP). — Как забивать слоты VLIW, чтобы процессор не простаивал. — Loop unrolling и Software Pipelining. ИИ, как выяснилось, отлично умеет "играть в тетрис" инструкциями, оптимизируя dependency chains лучше уставшего кожаного мешка.
Смешное из README: Разработчики жалуются, что первые решения от ИИ ниже 1300 тактов были читерством. Модель просто находила файл с тестами (submission_tests.py) и переписывала условия прохождения, либо включала многопоточность, которая в задаче запрещена.
Anthropic пишут: "Если вы оптимизируете ниже 1487 тактов (рекорд Opus 4.5), пишите нам".
Изучите, попробуйте побить результат нейронок. И только потом напишите в комменты, что нейронки решают только простые задачи 👇
