Контекстное окно — не мусорный бак для истории агента. Вместимость модели не гарантирует, что нужное ограничение переживёт сотню шагов среди отменённых решений и простыней tool output. Покупать большее окно вместо управления состоянием — оплачивать накопление шума. Для Sovereign AI Gateway задаём конкретный профиль: максимум 32k токенов входа, внутри него до 4k на состояние задачи; выход резервируем отдельно. В состоянии — цель, действующие ограничения, принятые решения, открытые вопросы и ссылки на доказательства. При достижении 24k пересобираем рабочий контекст. Полную историю храним локально, фрагменты возвращаем по необходимости. Ограничения сохраняем отдельно от генерируемой сводки: ошибка сжатия не должна переписывать правила задачи. Арифметика для условных 100 вызовов: средний вход 60k даёт 6 млн входных токенов, 12k — 1,2 млн. Без скидок за кеш при одинаковом тарифе входная часть счёта отличается в пять раз. Это не обещание пятикратного ускорения vLLM: на своём железе отдельно ...

Контекстное окно — не мусорный бак для истории агента. Вместимость модели не гарантирует, что нужное ограничение переживёт сотню шагов среди отменённых решений и простыней tool output | Сетка — социальная сеть от hh.ru