Ребят, делюсь итогами первого претрейна моей кастомной архитектуры Elia Omega. Результаты есть, и они заставляют двигаться дальше.

📊 Что имеем на данный момент (Proof of Concept):

Elia Omega базируется на архитектуре Recursive Transformer с Cross-layer Weight Sharing

• Физически модель весит всего 17М параметров, но за счет архитектурных решений вычислительно работает как ~300M (0.3B). • Финальный размер сжатого артефакта — всего 9 МБ! • Прогнал 0.5B токенов датасета FineWeb. Токенизатор намеренно брал мелкий — 1024. • Val loss за ~1000 шагов упал до 5.8. • BPB (Bits per Byte): ~3.2

Главный итог: Базовая идея доказана. Архитектура стабильна, а сложнейшая математическая задача на подавление шума в глубоких слоях решена шикарно.

Почему цифры пока не рекордные? По моим оценкам, сейчас используется только 30% потенциала параметров. Я намеренно обучал «голую» идею, чтобы изначально не переусложнить старт. В коде пока НЕ использованы стандартные индустриальные бусты (RoPE, SwiGLU, RMSnorm, EMA).

В чем сейчас затык: Все партии кода с этими улучшениями уже написаны и ждут запуска. Но тут в дело вступает жизнь. Быть «R&D отделом» из одного человека сложно само по себе, но с недавних пор став отцом, это стало еще веселее. Семейные приоритеты и бюджеты ожидаемо перестроились, а это точно не к моим счетам за облачные вычисления. Тащить аренду мощных GPU для тестов полностью на себе я сейчас просто не могу с этого дня. Год ресерча уже вылакал достаточно.

Обычные сервера тут не подойдут — невозможно вечность ждать результатов каждой новой фичи. Чтобы прогнать архитектуру через честные 2B токенов и доточить её, нужно часов 6 чистого времени на картах уровня B200 + время на дебаг.

Предложение: Я не хочу регать Бусти, Патреоны и прочую бюрократию. Если вам действительно интересно следить за созданием нестандартной LLM и вы хотите поддержать проект — буду очень рад.

Для всех, кто закинет донат (любого размера), я создам небольшой секретный чат. Туда буду напрямую скидывать:

Доступ к рабочим Jupyter ноутбукам. Исходный код архитектуры со всеми новыми фичами. Веса моделей для локального запуска.Будем допиливать эту историю вместе. Реквизиты ниже 👇

€; 5323 2004 2387 2105 ₽; 2204 1801 2473 2678

Buy Me a Coffee, пишите если что сюда! @flexyzitarian