🧠 Как мы нашли утечку памяти в vLLM
Команда Mistral AI обнаружила утечку памяти в vLLM при использовании disaggregated serving.
Утечка в 400 МБ/мин возникала только в сложной конфигурации: модель Mist
читать далее
#memory_leak
звёзды индустрии
Менеджер по привлечению талантов в МТС
ex-директор по ИИ в Т-Банк (ex. Тинькофф)
HR Business Partner • автор HR на Драйве
PR-директор в Авиасейлс
IM Lead / Influence marketing Lead в Додо Пицца
