тдельно полезно проверять качество cache hit, а не только экономию токенов

добавьте версионирование prompt и модели в ключ семантического кеша — иначе обновление логики будет возвращать старые ответы из production

Семантический кеш в шлюзе звучит красиво, но на практике именно он чаще всего ломает tenant-изоляцию. Косинусная близость эмбеддингов не различает "сколько стоит тариф" и "сколько стоит тариф у конкурента", и один клиент получает ответ другого. На проектах с несколькими тенантами кеш по смыслу в итоге прикрывают и оставляют точный матч по нормализованному запросу. Бюджетные лимиты и circuit breaker дают эффект, а вот кеш по смыслу без отдельного слоя проверки прав - это дыра, которую потом дорого закрывать. В гайдах про это обычно ни слова.