Google выпустила EmbeddingGemma, инновационную модель, которая преобразует текст (слова, предложения, абзацы) в числовые векторы, называемые эмбеддингами. Эти векторы способны улавливать значение, контекст и даже эмоциональную окраску текста, что позволяет компьютерам эффективно понимать и сравнивать текстовые данные. Модель построена на архитектуре Gemma 3 Transformer и использует двунаправленное внимание, учитывая контекст до и после каждого слова для создания максимально точных эмбеддингов. EmbeddingGemma разработана с акцентом на высокую эффективность и производительность, особенно для работы непосредственно на устройствах, что делает её идеальным решением для конвейеров RAG (Retrieval-Augmented Generation). Она способна обрабатывать до 2000 токенов одновременно благодаря окну контекста в 2K токенов, что обеспечивает гибкость в различных сценариях использования. Одной из ключевых особенностей EmbeddingGemma является поддержка более 100 языков. Модель показала выдающиеся результаты, став самой высокопроизводительной многоязычной моделью эмбеддингов среди тех, что имеют до 500 миллионов параметров, согласно тесту MMTEB. Кроме того, она демонстрирует конкурентоспособные базовые показатели и значительно улучшает производительность при тонкой настройке под конкретные задачи. Например, на Medical Instruction and Retrieval Dataset (MIRIAD) тонко настроенная модель EmbeddingGemma-300M превзошла аналоги, достигнув показателя NDCG@10 в 0.8662.Доступность EmbeddingGemma на Hugging Face и её интеграция с популярными фреймворками, такими как Sentence Transformers, LangChain, LlamaIndex, Haystack и txtai, а также поддержка Text Embeddings Inference (TEI) и ONNX Runtime, делают её легкодоступной и удобной для развертывания.Выпуск EmbeddingGemma значительно расширяет возможности для создания эффективных многоязычных приложений, работающих непосредственно на устройствах. Это открывает новые горизонты для разработки мобильных RAG-систем и других ИИ-решений, требующих высокой производительности и поддержки множества языков. Эта модель устанавливает новый стандарт для базовых многоязычных эмбеддингов, предлагая мощный инструмент для разработчиков по всему миру. Ссылка на оригинал - https://huggingface.co/blog/embeddinggemma