Очень скоро мы будем использовать смартфоны со встроенными мультимодальными БЯМ. Со следующего года вступает в силу требования к производительности модулей для ускорения вычислений нейросеток и тогда, всё, что останется сделать - сказать смартфону, что он должен приглядывать за обстановкой и сообщить куда следует, ежели что увидит. Сегодня vision модели уже здорово понимают что они видят. Мало того, такие приличные модели доступны уже с октября 2023 года. Попробовать их можно на сайте Nvidia:

https://build.nvidia.com/nim?filters=usecase%3Ausecase_image_to_text