Пенсионер на стероидах: тестируем локальные LLM на легендарной GTX 1080 Ti 🦖
Короче, стояла задача локальной нарезки коротких рилсов из длинных подкастов с монтажом субтитрами все дела. Как это решить платно онлайн уже все знают, охота было попробовать на своем железе.
В итоге собрал домашний стенд и столкнул лбами три популярные модели: Qwen3.5 9B, Gemma 4 12B и Bonsai 27B (в экстремальном 1-битном кванте).
А что получилось - читайте в статье.
Внутри подробные замеры скорости готовый двухэтапный пайплайн для обработки длинных подкастов и минимальный код скрипта для тестов через LM Studio.
👉 Читать полную статью на Хабре:
