Короче, я открыл для себя Strata
Эта хуйня реально работает. Большая QWEN Запустилась и дает 60 токенов в секунду на моем пердящем ПК.
При том что я запустил на 16GB VRAM модель IQ2_XS, 125 миллиардов параметров.
Это нечто....
Короче, я открыл для себя Strata
Эта хуйня реально работает. Большая QWEN Запустилась и дает 60 токенов в секунду на моем пердящем ПК.
При том что я запустил на 16GB VRAM модель IQ2_XS, 125 миллиардов параметров.
Это нечто....
напишите коммент
0 комментов
можете перейти, но сначала проверьте ссылку и будьте аккуратны: не вводите по ссылке пароли, номера телефонов и банковских карт, и другие личные данные
https://
уверены, что хотите выйти?
придется авторизоваться заново, а заполненные данные будут удалены
пост закреплён — пока закрепить можно только один пост
что-то пошло не так — попробуйте снова чуть попозже
