Инференс LLM дорожает? 6 шагов до покупки новых GPU

Всем привет 👋 😊 Поднять модель на vLLM можно за вечер. А через месяц GPU стоят как три разработчика, а клиенты ждут первый токен по 15 секунд. Часто дело не в нехватке карт: они снова и снова пересчитывают одни и те же промпты. В статье разбираем 6 шагов оптимизации инференса #LLM на #vLLM: KV-кэш, prefix caching, роутинг и FP8. Для разработчика, который выводит модели в прод, это уже базовый навык #MLOps. Ссылка на статью: https://habr.com/ru/companies/otus/articles/1077956/ Буду рад обсудить в комментариях 🤝