Google DeepMind выпустила GenAI Processors: легковесную Python-библиотеку для эффективной и параллельной обработки контента

Читать статью

Краткое содержание:

Google DeepMind представила GenAI Processors — легковесную opensource библиотеку на Python, созданную для упрощения организации рабочих процессов генеративного ИИ. Библиотека ориентирована на обработку мультимодального контента в реальном времени и использует асинхронную потоковую архитектуру для достижения высокой пропускной способности. GenAI Processors распространяется под лицензией Apache2.0 и предлагает готовые коннекторы для интеграции с API моделей Google Gemini, что позволяет быстро создавать интерактивные ИИсистемы, такие как мультимодальные ассистенты и агентыисследователи.

Подробности:

В основе GenAI Processors лежит концепция обработки асинхронных потоков объектов ProcessorPart, которые представляют собой фрагменты данных — текст, аудио, изображения или JSON с метаданными. Стандартизация ввода и вывода позволяет легко объединять и разветвлять компоненты обработки. Библиотека спроектирована для минимизации задержки, в частности времени до получения первого токена (TTFT — Time To First Token), за счет конвейерного выполнения операций, что обеспечивает параллельную обработку и эффективное использование ресурсов. Ключевой особенностью является готовая интеграция с API Google Gemini, включая Gemini Live API для потоковых приложений. Это абстрагирует сложность пакетной обработки, управления контекстом и потокового вводавывода. Библиотека поощряет модульность: разработчики могут создавать переиспользуемые блокипроцессоры и расширять функциональность через специальный каталог contrib/. В репозитории представлены примеры использования в Jupyterноутбуках: агент для работы в реальном времени (RealTime live agent), исследовательский агент (Research agent) и агент для комментирования событий в прямом эфире (Live commentary agent). В отличие от LangChain или NeMo, GenAI Processors специализируется на управлении потоковыми данными и координации асинхронных взаимодействий с моделями.

Влияние:

Библиотека сокращает разрыв между необработанными ИИмоделями и готовыми к развертыванию, отзывчивыми конвейерами данных. Она предоставляет разработчикам основу для создания диалоговых агентов, экстракторов документов в реальном времени и мультимодальных исследовательских инструментов, обеспечивая интерактивный опыт с низкой задержкой.

Затронутые технологии:

GenAI Processors Python Gemini API

Для кого полезно:

Разработчики ИИ Инженеры машинного обучения Стартапы в сфере ИИ