Достаточно логичное развитие старой идеи воровать скриншоты, сдобренное распознаванием наскриншотенного. Ой, простите, LLM-анализом, конечно-же. В общем,история в том, что выдавая модельке контекст, теперь это не просто фотка рабочего стола с которой можно стащить названия файлов и пути до них, а полноценное воссоздание всех действий пользователя, будто ты у него за спиной стоишь. https://www.youtube.com/watch?v=WQFIfORignI