Если его предобучить, то не должен забывать, так как это все время будет в контексте.

На самом деле, тут 2 составляющих: 1) GPT забывает, тк есть лимиты памяти окна (особенно в бесплатной подписке) или при непрямом доступе к GPT - это объясняет черный ящик

2. раньше в версиях до 4, это было нужно, сейчас сильно меньше, и правилнее задавать контекст, в котором живет GPT несколько иначе, но вообще это всего лишь способ быстро задать контекст.

Активно пользуюсь платной версией почти с момента ее выхода.