Всем привет 👋 😊

Купили видеокарту подороже, а модель еле ползёт и GPU простаивает? Дело чаще не в FLOPS, а в пропускной способности памяти и KV-кэше.

Разбираем бюджет #LLM-инференса: почему prefill и decode упираются в разное, как подобрать движок под форму нагрузки и чем платит #квантование.

Тема, которую полезно понимать разработчику: #локальныйинференс — это про расчёт памяти, а не про ценник видеокарты.

Ссылка на статью: https://habr.com/ru/companies/otus/articles/1077942/

Буду рад обсудить в комментариях 🤝