Как ИИ находит картинку по фразе, которой нет в списке классов

Во многих мультимодальных системах помогает контрастивное обучение. Один энкодер превращает изображение в набор чисел, другой — его описание. Представления подходящей пары во время обучения сближают, а случайно составленной — разводят.

Так возникает общее пространство смыслов: запрос «красный зонт у моря» можно напрямую сравнить с изображениями, даже если отдельного класса с таким названием никто не задавал. Ближайшие точки становятся кандидатами для поиска.

Важно: близость означает выученное сходство, а не доказанное понимание факта. Но именно она позволяет тексту и картинке встретиться без общего алфавита.

#ИИ #Мультимодальность #МашинноеОбучение