Falcon-Perception

Falcon-Perception — это нативно мультимодальная, плотная, авторегрессионная модель Transformer, предназначенная для выполнения задач детекции объектов, сегментации экземпляров и оптического распознавания символов (OCR) на основе естественно-языковых запросов.

Модель обрабатывает изображения и текстовые токены совместно с первого слоя, используя гибридную схему внимания: двунаправленную для визуальных токенов и причинную для предсказательных токенов, что позволяет объединять глобальный визуальный контекст с автогрессивной генерацией переменной длины.

Кодовая база разработана с акцентом на минимализм, читаемость и производительность, обеспечивая единый интерфейс для исследований и промышленного использования на различных аппаратных платформах.

Lang: Python https://github.com/tiiuae/Falcon-Perception