ByteDance обучает гигантскую AI-модель на 10 триллионов параметров

Это примерно втрое больше, чем у Kimi K3 — крупнейшей китайской модели на сегодня. Точный размер определят позже. Предварительное обучение займёт 3-6 месяцев.

Для сравнения, размер моделей Anthropic официально не раскрывается, но отраслевые оценки приписывают Mythos 5 около 8 триллионов параметров, а Fable 5 — около 5 триллионов. При этом само количество параметров ещё не гарантирует качество: многое зависит от данных, архитектуры и обучения.

Источники FT утверждают, что ByteDance сознательно старается не дистиллировать чужие модели, а разрабатывать всё самостоятельно. Это замедляет прогресс, но руководство считает, что только так можно обогнать американские лаборатории.

https://www.ft.com/content/9b8383b1-a28d-4940-8c4e-2f0cd21556ef