Запустить LLM локально: что считать до покупки видеокарты?

Всем привет 👋 😊

Купили видеокарту подороже, а модель еле ползёт и GPU простаивает? Дело чаще не в FLOPS, а в пропускной способности памяти и KV-кэше.

Разбираем бюджет #LLM-инференса: почему prefill и

читать далее