Стабильный префикс и динамический хвост
Стабильный префикс в Элис — это одинаковые байты между вызовами внутри группы. Всё изменчивое уходит в динамический хвост — отдельное system-сообщение после истории. Это не эстетика, а деньги и скорость: префикс попадает в кэш провайдера. Почему одна строка с текущим временем обнуляет кэш. В стабильном префиксе: • кто ты; • инварианты: не выводи секреты, не обходи тюрьму путей, не вводи пароли, не решай CAPTCHA; • контракт общения; • каталог навыков (только каталог, не тела); • правила доверия к браузеру; • типы задач. В динамическом хвосте: время, бюджет, дайджест памяти, роль, шаг. Защита. При изменении префикса меняется его версия, а в CI стоит хэш-гард: случайная правка не пройдёт незамеченной. В рантайме работает сторож кэша: если доля попаданий низкая несколько раз подряд — предупреждение, потом стоп «кэш развалился». Ключевая трудность (инженерная): невидимые изменения префикса. Типичные убийцы кэша — «сейчас», бюджет или session id в начале запроса, нестабильный порядок инструментов и полей в JSON-схеме, «маленькая правка» формулировки. Ошибкой это не выглядит — просто растёт счёт. Поэтому кэш — это контракт с хэш-гардом и сторожем, а не надежда. Сжатие истории тоже меняет запрос, поэтому оно редкое: раз в N ходов. Дальше — контракт общения и классификатор задач. #HarnessOS #Элис #LLM #promptcaching
· 21.10
Про невидимые изменения префикса очень в точку. Обычно кэш ломается тихо и замечают уже по счету - хэш-гард в CI выглядит как простой и полезный страховочный слой.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён