Всем привет! Последнее время плотно копал под капот архитектуры трансформеров и понял, что классическая инициализация (Xavier/He) на глубоких слоях ломает геометрию векторов (Condition Number улетает за 4000+). Решил это исправить и написал m23-llm — библиотеку, которая использует динамическую изометрию на базе группы Матьё (M23). Что под капотом: 🔹 Матрицы весов с идеальным показателем обусловленности = 1.0 (никакого затухания градиентов на длинном контексте). 🔹 Поддержка GPT-2, Qwen (3, 3.5-3.6) и LLaMA 3/3.1 (SwiGLU, RoPE). 🔹 Диффузионный режим обучения (dLLM / GFusion). 🔹 Жесткая оптимизация под локальное железо. Выжал максимум из домашней RTX 4070 Ti Super (16GB): реализовал датасет-стриминг, bf16 и Gradient Checkpointing. Претрейн Qwen-Micro с нуля ест всего ~4.5 ГБ VRAM! Пакет уже залит на PyPI, можно пощупать: pip install m23-llm Исходники, бенчмарки на 60k шагов и математика в README на GitHub: https://github.com/m23spectrum/m23-llm Буду рад звездочкам, пулл-реквестам и конструктивному фидбеку! (P.S. Сейчас активно ищу позицию LLM Backend инженера / QA Automation. Если вашей команде нужен человек, который умеет и в математику, и в оптимизацию VRAM — буду рад пообщаться, контакты в профиле).