💵 GigaEmbeddings: новая линейка моделей от 480M до MoE-флагмана 10B-A1.8B
Мы обновили всю линейку GigaEmbeddings и выкладываем в open source сразу три модели — 480M, 3B и 10B-A1.8B. Они стали сильнее на английском языке и особенно в задачах с кодом, получили поддержку vLLM и SGLang и подходят для разных требований к качеству и производительности.
Что внутри: 🔘GigaEmbeddings 10B-A1.8B — новый MoE-флагман с 10B общих и всего 1.8B активных параметров; 🔘GigaEmbeddings 3B — универсальная модель с большим приростом на английском языке и в задачах с кодом; 🔘 GigaEmbeddings 480M — компактная модель для высоконагруженного поиска и сценариев, где особенно важны скорость и стоимость инференса; 🔘 Поддержка vLLM и SGLang для быстрого запуска моделей в production.
Результаты: 🔘 GigaEmbeddings 10B-A1.8B набирает 74,99 в ruMTEB и занимает первое место в рейтинге; 🔘 Особенно заметно выросло качество на задачах с кодом: новая 3B набирает 76,93 против 62,37 у предыдущего релиза, а на engMTEB занимает 2 место среди моделей своего размера или меньше; 🔘 На vLLM наш MoE-флагман в 1,5 раза быстрее Qwen3 Embedding 4B.
Результаты тестирования доступны в [открытом рейтинге](https://mteb-leaderboard.hf.space/benchmark/MTEB(rus, v1.1)).
Что изменили в обучении: 🔘В несколько раз увеличили объём данных на этапах contrastive pretrain и fine-tuning. 🔘Чтобы сохранить баланс между языками и классами задач, мы использовали мержинг моделей с помощью SLERP на всех этапах обучения. 🔘480M дополнительно обучили через дистилляцию от более сильных моделей: передавали распределения cosine similarity внутри батча с помощью KL divergence.
💡 В результате получилась линейка для разных сценариев: от компактной модели для высоконагруженных систем до MoE-флагмана, который одновременно повышает качество и ускоряет инференс.
В ближайшее время также выложим на GitHub подробный гайд по дообучению наших моделей — расскажем о подходах и инструментах, которые использовали в процессе обучения.
➡️ Hugging Face: 480M | 3B | 10B-A1.8B ➡️ GitVerse: 480M | 3B | 10B-A1.8B
