Миллион токенов в окне не заменяет управление состоянием. Если агент на сороковом шаге потерял исходное ограничение, расширение окна само по себе проблему не исправит. Облачному поставщику оплаченный вход выгоден даже тогда, когда агент перечитывает собственные ошибки. Нам нужен завершённый результат, а не километраж переписки. Задаём рабочий бюджет конкретного агента: 12k входных токенов, пересборка при 9k. Это проектная граница, не универсальный предел модели. В каждом запросе сохраняем цель, ограничения, подтверждённые решения и текущий шаг. Вывод инструментов храним локально, подтягиваем нужные фрагменты по идентификаторам. Сводка содержит ссылки на первоисточники; критичные ограничения переносим дословно. Пересказ модели не становится источником истины. Расчёт для 40 вызовов: средний вход 60k даёт 2,4 млн входных токенов, 12k — 480 тысяч. В пять раз меньше объёма входа. При одинаковом тарифе без скидки за кэширование входная часть счёта тоже падает впятеро; генерацию и пересборку ...

Миллион токенов в окне не заменяет управление состоянием. Если агент на сороковом шаге потерял исходное ограничение, расширение окна само по себе проблему не исправит | Сетка — социальная сеть от hh.ru