Почитал про CacheVerifier. Они целились в 2% ошибок, а получили от 9,5 до 27,7%. Hit rate при этом вырос с 28,8% до 58,9%, но не потому, что кэш внезапно стал лучше.

Порог калибровали только по cache reject. То есть система видела ошибки ниже текущего порога и постепенно переставала замечать те, что оказались выше. Кэш начал попадать чаще на неполных данных, и это довольно быстро вылезло в метриках.

Фикс у них такой: для 5% одобренных hits случайно делают forced miss, а потом взвешивают наблюдения через 1/p. В итоге получили 1,3-1,6% ошибок при менее 0,5% дополнительных LLM-вызовов.

Если ответ приехал из кэша, сравнивать его обычно не с чем. Тут одного счётчика cache hits маловато. Нужен голдовый датасет для регресса, плюс случайный аудит одобренных hits.

Источник: https://www.reddit.com/r/LLMDevs/comments/1x4ra6o/cacheverifier\_recalibrating\_on\_the\_labels\_we/

Пишу про тестирование AI в Telegram: t.me/littleQA