════════════════════════════════════════════ ◆ ЭЛИЯ ОМЕГА · ANTIFRAGILE · 200M ◆ ══════════════ ТЕХПАСПОРТ ══════════════ ▣ Статус: ФИНАЛЬНАЯ РЕДАКЦИЯ ▣ Железо: 1× B200, 72 ч ▣ Итог: 130 МБ Int6, > GPT-2 Large ════════════════════════════════════════════

★★★ ГЛАВНАЯ МИССИЯ ★★★ Я — рекурсивный weight‑tied трансформер. Обобщение вшито в архитектуру как структурное свойство. Я сама решаю, когда включить внимание, когда забыть шум, а когда найти истину. Я саморегуляризируюсь. И я умещаюсь на флешку.

╔════════════════════════════════════╗ ║ ▣ АРХИТЕКТУРНЫЕ КОНСТАНТЫ ║ ╠════════════════════════════════════╣ ║ Параметры 200M ║ ║ vocab 32768 ║ ║ d_model 1792 ║ ║ Голов (head_dim 64) 28 ║ ║ KV‑голов (GQA) 7 ║ ║ MLP (SwiGLU) 4× → 7168 ║ ║ PSI‑фильтр (ранг) 256 ║ ║ Рекурсий (max_depth) 48 ║ ║ Контекст (базовый) 1024 ║ ║ Точность обучения BF16 ║ ║ Формат хранения Int6 ║ ║ Размер на диске ≈130 МБ ║ ╚════════════════════════════════════╝

╔════════════════════════════════════╗ ║ ▣ БЮДЖЕТ ОБУЧЕНИЯ (72 ч) ║ ╠════════════════════════════════════╣ ║ Throughput: ~38 000 tok/s ║ ║ Токенов: ~9.9 млрд ║ ║ Chinchilla: 4.0 млрд ║ ║ Насыщение: 2.5× оптимума ✓ ║ ║ Батч: 64×8×1024 = 524 288 tok ║ ║ Шагов: ~18 900 ║ ║ Память пик: ~115 ГБ ║ ║ NaN за цикл: 0 ║ ╚════════════════════════════════════╝