DeepSeek представила новую архитектуру обучения mHC ⚪️****Manifold-Constrained Hyper-Connections - архитектура для масштабирования больших языковых моделей (LLM) с сохранением устойчивости и эффективности внутреннего обмена информацией.

⚪️Традиционные подходы к масштабированию моделей часто сталкиваются с проблемами нестабильности по мере роста сложности. Новая техника позволяет моделям обмениваться более богатыми внутренними данными, не ухудшая стабильность обучения и не требуя значительного увеличения вычислительных ресурсов.

⚪️Поговаривают, что релиз мог появиться в преддверии следующего крупного выпуска модели компании (например, R2 или будущей версии V4), нам остается только наблюдать.