Когда RAG начинает вспоминать
Осенний воздух вдруг напоминает о школе, хотя вы думали о работе или покупках. Одна деталь возвращает целый эпизод.
Что, если у ИИ тоже появятся такие связи?
В RAG можно запоминать, какие фрагменты часто появляются в выдаче вместе. Повторные обращения усиливают связь, а без подкрепления она постепенно затухает. Накопленный опыт влияет на то, что всплывёт в следующий раз.
Для точного поиска это скорее помеха: знакомый фрагмент может вытеснить нужный. Зато у разговорных агентов с одной моделью и одинаковыми записями разный опыт мог бы вызывать разные воспоминания. У одного осень связана со школой, у другого с морем.
Механизм уже проверялся на практике. Подробнее о том, как он работает и почему такая память интересна для более человечного ИИ: