Пеликаны на велосипедах

Вам тоже надоели сравнения нейросетей (LLM) между собой? Огромные таблицы с непонятными цифрами, которые понимают только специалисты. Есть более наглядный вариант для бенчмарка. Саймон Виллсон, бывший техдир Eventbrite и один из создателей фреймворка Django, уже несколько лет сравнивает способности LLM на одной задаче: Сгенерируй SVG-изображение пеликана, едущего на велосипеде

Почему эта задача так хороша?

• SVG — формат для векторной графики, но эта графика описана текстом в виде XML-кода. То есть, это и текст, и код, и изображение одновременно!
• Нарисовать велосипед — не самая простая задача даже для взрослого человека. Многие не могут вспомнить, как выглядит рама или руль.
• Пеликан в векторном виде будет мультяшным, его тоже не просто нарисовать.
• Пеликаны не ездят на велосипедах! Велосипеды не приспособлены для них. Нужно проявить изобретательность, чтобы сделать такую картинку.

Результаты работы вы видите сами. Модели учатся рисовать птиц за рулём и это у них получается всё лучше. Саймон регулярно публикует новые результаты у себя в блоге. Думаю, мы ещё не раз увидим пеликанов на велосипедах.

Занимательные ссылки:

• Свежие пеликаны на велосипедах
• Самая ранняя подборка пеликанов на велосипедах
• Подробный обзор LLM за последние полгода и много пеликанов

❤️ Жми на сердечко, если интересно 🕊 Жми на голубя, если нравятся птицы 🧑‍💻 Жми на ботана, если собрался генерировать пеликана на велосипеде