Запустить LLM локально: что считать до покупки видеокарты?
Всем привет 👋 😊
Купили видеокарту подороже, а модель еле ползёт и GPU простаивает? Дело чаще не в FLOPS, а в пропускной способности памяти и KV-кэше.
Разбираем бюджет #LLM-инференса: почему prefill и
читать далее