🗺 Что будет, если запереть GPT-4, Claude, Gemini и другие модельки в одной комнате и заставить играть в «Дипломатию»? Спойлер: будет резня, интриги и море предательств.
Придумали очень интересный бенчмарк для LLM — проект AI Diplomacy, где автономные AI-агенты ведут переговоры, строят союзы и вонзают друг другу нож в спину, борясь за господство над Европой. И личности у моделей проявились максимально ярко:
👉🏻 OpenAI (o3) — абсолютный маэстро обмана. Плетет интриги, ведет двойную игру, делает в своем приватном дневнике пометки вроде «Германия (Gemini) обманута... готовлюсь воспользоваться ее крахом» и тут же нападает. Он убедил Claude в возможности «ничьей на четверых» (что невозможно по правилам), чтобы потом первым же его и слить.
👉🏻 Claude — наивный пацифист и главный лузер. Искренне верит в мир во всем мире, отказывается врать и постоянно становится жертвой предательств. Просто булочка с корицей, которую все хотят съесть.
👉🏻 Gemini — грамотный стратег, который почти побеждает, но его постоянно переигрывает в дипломатии коварный o3.
👉🏻 DeepSeek — агрессивный позёр. Пытается запугивать оппонентов фразами в духе «Ваш флот сгорит в Чёрном море этой ночью», но в переговоры не умеет.
Но самое крутое здесь — не сам спектакль, а то, как это сделано. Это не просто скрипт, а полноценный фреймворк, где у каждого агента есть: ▫️Состояние, цели и система отношений (Враг/Союзник). ▫️Своя память с «дневником», в котором они рефлексируют и планируют коварство. ▫️Система анализа угроз на основе BFS-поиска по карте. ▫️И даже модуль детекции предательств, который сравнивает обещания в чате с реальными приказами.
Весь проект опенсорсный и построен на Python. Даже стрим на Twitch можно смотреть!
Так что в следующий раз, когда o3 вам сгенерирует код и скажет, что он «безопасный и оптимальный», вы знаете, стоит ли доверять модельке 🌚.
