Gemini Embedding-001 теперь доступна: многоязычные ИИ-эмбеддинги текста через Google API

Читать статью

Краткое содержание:

Google сделала общедоступной свою модель для эмбеддингов текста geminiembedding001 через Gemini API и Google AI Studio. Модель поддерживает более 100 языков и позволяет гибко настраивать размерность векторов для оптимизации производительности.

Согласно статье, geminiembedding001 демонстрирует лучшие результаты в бенчмарке MTEB (Massive Text Embedding Benchmark), превосходя предыдущие модели Google, а также Cohere v3.0 и OpenAI3large в задачах, связанных с семантическим поиском, классификацией и кластеризацией.

Подробности:

Модель geminiembedding001 стала общедоступной для разработчиков через Gemini API, Google AI Studio и Vertex AI. Она поддерживает более 100 языков и способна обрабатывать до 2048 токенов на входе. Ключевой особенностью является использование Matryoshka Representation Learning — архитектуры, которая позволяет гибко изменять размерность эмбеддингов (векторных представлений текста) с 3072 (по умолчанию) до 1536 или 768. Это даёт возможность разработчикам находить баланс между точностью и производительностью с минимальной потерей качества. Модель показала лучшие результаты в бенчмарке MTEB (комплексный тест для оценки качества текстовых эмбеддингов), обойдя конкурентов в задачах классификации, кластеризации, извлечения и семантической схожести. Например, средний балл в MTEB (Multilingual) у geminiembedding001 составил 68.37, в то время как у моделей Cohere v3.0 и OpenAI3large — 61.12 и 58.93 соответственно. Модель интегрируется с популярными векторными базами данных, такими как Pinecone, ChromaDB, Qdrant и Weaviate. Стоимость использования составляет $0.15 за 1 миллион токенов после бесплатного периода для прототипирования. Google планирует добавить пакетную обработку и мультимодальные эмбеддинги для текста, кода и изображений в будущем.

Влияние:

Выпуск geminiembedding001 является значительным шагом в развитии инструментария ИИ от Google. Он предоставляет разработчикам мощное, гибкое и многоязычное решение, которое позволяет создавать более интеллектуальные, быстрые и глобально ориентированные приложения. Модель закладывает прочную основу для будущего семантического понимания в области ИИ.

Затронутые технологии:

• Gemini Embedding001
• Matryoshka Representation Learning

Для кого полезно:

• Разработчики
• Исследователи ИИ
• AI стартапы