Google придумал, как тратить меньше токенов на длинные задачи
Обычно агент таскает за собой всю историю: сообщения, действия, ответы инструментов и т.д. Учёные из Google предложили оставлять после каждого шага только короткое описание текущего состояния задачи, инструкцию и последнее наблюдение. Метод называется SKILL.state.
В тесте на 100 шагов обычный подход потратил около 1.06 миллиона токенов и показал точность 91%. SKILL.state использовал примерно 65 тысяч токенов и достиг 94% точности. На 200 шагах разрыв стал ещё заметнее: 122 тысячи против более 5 млн токенов.
На практических тестах результат тоже оказался лучше. В заданиях на работу в службе поддержки SKILL.state также чаще доводил задачи до конца.
