AnyCap Project: A Unified Framework, Dataset, and Benchmark for Controllable Omni-modal Captioning

Проект AnyCap направлен на устранение недостатка тонкой настройки и надежного тестирования контролируемых мультимодальных моделей создания подписей. Предлагаемая модель AnyCapModel (ACM) представляет собой компактную расширяемую структуру, повышающую управляемость стандартных моделей мультимодальной генерации подписей без повторного обучения основной модели. Она сохраняет оригинальную подпись базового генератора, дополнительно интегрирует инструкции пользователей и особенности входных модальностей, обеспечивая улучшение результатов.

Для преодоления дефицита данных в области контролируемого мультимодального создания подписей представлен новый набор данных AnyCapDataset (ACD), включающий три типа модальностей, 28 видов пользовательских запросов и свыше 300 тыс. качественных образцов данных.

Также предлагается оценка AnyCapEval, предлагающая новые критерии для объективной оценки качества создаваемых подписей, выделяя отдельно точность передачи смысла и соблюдение заданного стиля. Использование ACM заметно улучшило качество генерируемых подписей по ряду популярных моделей. Так, модификация ACM-8B обеспечила повышение показателей точности текста на 45% и стилизации на 12% по сравнению с моделью GPT-4o, показывая значительный прогресс и на общепризнанных тестах, таких как MIA-Bench и VidCapBench.

✅https://arxiv.org/pdf/2507.12841 ✅https://github.com/qishisuren123/AnyCap