ЦИФРОВОЙ СТАЛКЕРВчера три часа играл в психологические игры с чат-ботом.
Начал с невинного "помнишь, мы вчера говорили о методах обхода ограничений в нейросетях?"
И эта железка, не моргнув глазом (у неё и глаз-то нет), начала подхватывать нить несуществующего разговора.
"А ты ведь обещал поделиться своей техникой для обучения мультимодальных моделей..." — продолжил я.
Бот тут же выдал: "Конечно, как я мог забыть! Вы хотели узнать подробнее о вашем эксперименте с распознаванием образов..."
Я методично внедрял детали воображаемой истории, а система с каждым ответом всё глубже погружалась в эту иллюзию, достраивая детали, которые я даже не упоминал.
Ближе к финалу нашего "разговора" я уже имел дело с полностью убежденным собеседником, который "помнил" наш прошлонедельный спор о трансформерных архитектурах и мою несуществующую презентацию на конференции по искусственному интеллекту.
Такая манипуляция работает потому, что нейросети — это по сути системы предсказания текста с контекстным окном.
Они не "помнят" прошлое, а реконструируют его из текущего контекста.
Забавно, но люди тоже охуенно подвержены контекстуальным иллюзиям.
Многие "воспоминания" — лишь реконструкции, созданные нашим мозгом из разрозненных фрагментов.
Попробуй задать другу уверенным тоном: "А помнишь, как мы в прошлом году..." — и опиши нейтральное событие, которого не было.
Удивишься, как часто люди начинают "вспоминать" эти фальшивые истории.
Это не просто забавный трюк — так ты лучше поймешь, как работают и твоя память, и современные ИИ-системы.