По наблюдениям, при работе в Google AI Studio, когда в текущем диалоге количество токенов достигнет 100 тысяч (ну в крайнем случае 150 тысяч), лучше начинать новый диалог с теми же вводными данными. В противном случае LLM будет думать долго, а, учитывая накопленный контекст, в ограничения («попробуйте позже») будете упираться часто.

#нейросетевое