Можно ли искать нужный момент в видео обычным текстовым запросом? 👀 Представьте, что вместо просмотра нескольких часов архива можно написать: «покажи человека, который оставил предмет и ушел», и система сама найдет подходящие эпизоды.

Именно для таких задач все чаще используют VLM — мультимодальные модели, которые одновременно работают с изображением и текстом. В классической видеоаналитике сценарий обычно задается заранее: система знает, какие объекты или события нужно искать. VLM позволяют работать с более свободными запросами и учитывать контекст происходящего.

Сооснователь и коммерческий директор BPA Tech Аркадий Фроймчук рассказал об этом направлении в комментарии для GlobalMSK.

Классическая видеоаналитика хорошо работает там, где событие можно заранее формализовать: человек без каски, машина в запрещенной зоне, дым, скопление людей. Под каждый такой сценарий задаются конкретные признаки, которые система отслеживает в потоке.

С VLM подход становится гибче. Оператор может уже после события сформулировать запрос обычным языком (например, «найди мальчика примерно восьми лет в желтой футболке и с красным рюкзаком»), и система проанализирует записи с камер, выделит подходящие фрагменты и поможет восстановить маршрут человека по территории.

✔️ На практике наибольший потенциал у гибридной архитектуры. Классическое компьютерное зрение продолжает непрерывно контролировать четко заданные события, а VLM подключается там, где нужен поиск по описанию, анализ последовательности действий или разбор ситуации, которую заранее невозможно было свести к одному детектору или набору правил.

Такой подход особенно полезен при работе с большими видеоархивами: вместо последовательного просмотра оператор получает выборку релевантных эпизодов и дальше проверяет уже конкретные фрагменты. Это меняет сам принцип работы с видео.

Полную версию комментария Аркадия и больше примеров применения VLM собрали в новом материале на сайте BPA Tech.