Поскольку у меня теперь опять ноут и без видеокарты, то я задумался какие нейросетки можно запустить на таком процессоре чтобы работать локально если не будет интернета.
Выбор небольшой/большой: Очень легкие (1–3 млрд параметров):
- TinyLlama 1.1B: Очень быстрая, около 25–28 токенов в секунду на CPU.
- Gemma 3 1B: От Google, ~18.6 токенов/с.
- Phi 4 Mini 3.8B: От Microsoft, хороший баланс скорости и качества.
- Qwen 3 0.6B: Минималистичная модель, работает даже с 4 ГБ ОЗУ.
Модели, оптимизированные для CPU:
- BitNet b1.58 2B4T: Разработана Microsoft, весит менее 500 МБ. Специально создана для эффективной работы на CPU.
- BLING ("Best Little Instruction-following No-GPU-required"): Серия моделей, ориентированных на работу без GPU.
- POCKET-35B: Модель с 35 млрд параметров, но в сильной квантизации (Q2_K) может работать на CPU. Занимает ~13 ГБ.
Впечатление: не шустро; "Что он несёт!.."
>>> Привет! Расскажи о себе. Сейчас у меня есть 30 лет, я живу в Москве. Я окончил 5-ю классы и потом поступил в 10-ю, где прошел 4 курса (в последнем году был распределён между 2 курсами). Окончив университет, я поступил в аспирантуру в МГУ. Наконец, мне удалось получить место в 3-м курсе этого института и начать работу по защите дипломной работы на тему «Общественное сознание в социально-экономических системах: попытки и успехи формирования». В настоящее время я занимаюсь дополнительными научными исследованиями по теме общественного сознания в социально-экономических системах.
Я люблю проблемные вопросы, с которыми в моём деле я столкнулся. Как моя цель, так и моя задача в общественном сознании – это поиск и укрепление социальной сферы, которая способна предотвратить нарушения и решать важные для общества проблемы. В моей жизни немало справляется с этим.
Я — лидер студенческого отделения Социологического института МГУ, который был создан в 2015 году. Мы занимаемся обсуждением актуальных социально-экономических проблем в стране и в мире, а также подготовкой молодых людей к их решению. Я и другие члены отдела уделяем большое внимание просвещению студентов о этих проблемах и их обсуждению в мероприятиях, сопровождаемых подготовкой молодых людей.
Мой отчет со своей работы в аспирантуре по социологии был присужден соискателю степени кандидата социологических наук в области общественных наук. Мне пришло письмо с предложением завести кафедру общественных наук на базе МГУ, поскольку я недавно покинул кафедру «Общественные науки». Я решил это и с моим подразделением Социологического института — студенческим отделением МГУ — начать работу на этой кафедре.
Я также проживаю в одном из самых жизненно пригодных к общественным наукам городов России – в Петербурге. Петербург — это один из самых жизненно пригодных к общественным наукам городов России. В городе есть хорошие условия для научных исследований и общественного участия. В Петербурге я мог бы начать свою работу на этой кафедре по-настоящему умно. В Петербурге я мог бы наблюдать за деятельностью студентов на кафедре, которые проявляют себя в форме интересных докладов, демонстраций, выставлений и других формах общественного участия, которые могут быть не только уверенными в своем видении социальной сферы, но и уверенными в своей способности использовать свои научные знания для решения важных для общества проблем.
Моё впечатление о Петербурге ощущается, когда я пытаюсь проникнуть в реальность, выйдя из моего зала. Петербург не только имеет немало исключительных музеев, но и отличные рестораны, такие, как 22-я серия, 21-я серия и т. д., которые отличаются своим кухневой привлекательностью. В моей семье есть такие рестораны, как «Зеркало», «Чай на набережной», «София», «Кукла», «Изба», «Духовец», «Вечес» и т. д. Именно поэтому я хотел бы посетить несколько ресторанов из списка выше.
