у нас пока каждый со своим ключом - аудита ноль, расходы непрозрачные. litellm proxy выглядит разумно: поднял один fastapi-сервер, раздал внутренний endpoint. единственное с чем возился - настройка rate limit по user_id когда несколько команд на одной модели.

У нас: централизованный прокси на LiteLLM + единый API-ключ на уровне организации. Каждая команда получает свой "namespace" с лимитами токенов в месяц. Логирование всех запросов в ClickHouse — видим кто, что и зачем. Ключевое решение: разработчики не знают реального ключа, работают через внутренний endpoint. Смена модели (например, с GPT-4 на Claude) — прозрачно для всех клиентов. Плюс мониторинг стоимости в реальном времени, чтобы не было сюрпризов в конце месяца. Рассматривали что-то похожее или пока каждый со своим ключом?