🚀 КАК Я ЗАПУСТИЛ GEMMA 2B ОТ GOOGLE НА MAC PRO 2008 ГОДА https://vk.ru/wall10503398_5423 Сегодня у нас очередная победа. На Mac Pro 3,1 2008 года заработала Gemma 2B — языковая модель от Google, которая понимает русский, пишет тексты, переводит и отвечает на вопросы. Всё это — полностью локально, без интернета и облачных сервисов. 🧠 КАКИЕ МОДЕЛИ У НАС БЫЛИ ДО ЭТОГО До Gemma у нас уже был Ollama. Старая версия, которая больше не обновляется на macOS Monterey. Она не видела новые модели и откровенно устарела. Были мысли поставить GPT4All — лёгкий десктопный чат-клиент, но сайт и GitHub оказались недоступны (то ли блокировка, то ли глюки CDN). Потом были SmolLM3 (135 млн параметров) и Vikhr-Llama-3.2-1B. Они уже стояли у нас, но быстро показали свой потолок. SmolLM3 — крохотная, на русском отвечает односложно и часто теряет контекст. Vikhr-Llama-3.2-1B — уже лучше, 1 млрд параметров, русский знает, но глючит: то повторы, то уходит в отвлечённые рассуждения. Для простых вопросов сгодится, но для нормальной работы слабовата. Нужна была модель мощнее и стабильнее, поэтому и перешли на Gemma 2B. 💎 ПОЧЕМУ ВЫБРАЛИ GEMMA 2B Gemma 2B — это 2 миллиарда параметров. Она в 2 раза мощнее Vikhr и в 15 раз мощнее SmolLM3. При этом она всё ещё лёгкая для CPU — весит всего 1.7 ГБ в сжатом формате GGUF. 💻 Что она умеет на самом деле Возможности Gemma 2B выходят далеко за пределы простого чата. Она умеет работать с файлами, и это делает её мощным инструментом для реальных задач. Вот что она может: ✅ Отвечать на вопросы на русском ✅ Писать тексты, статьи, посты ✅ Переводить с русского на другие языки ✅ Суммаризировать длинные тексты ✅ Помогать с креативными задачами ✅ Работать полностью оффлайн ✅ Читать и анализировать файлы: скормите ей текстовый документ, лог, CSV-таблицу или код — она разберёт, найдёт ошибки, сделает выводы ✅ Искать по содержимому: можно загрузить файл и спросить «найди все строки с ошибкой» или «что в этом документе про бюджет» ✅ Работать с логами и конфигами: загрузите server.log — она объяснит, что случилось и как чинить Это уже не просто болталка, а полноценный AI-ассистент для разработки, DevOps и аналитики. ⚙ НА КАКОМ ЖЕЛЕЗЕ ТЯНЕТ Всё тот же Mac Pro 3,1 (Early 2008): - 2x Intel Xeon (без AVX/AVX2) - 32 ГБ DDR2 - NVIDIA GTX 680 (не используется) Скорость генерации: ~2.2 токена в секунду. Для текстового чата — более чем комфортно. 🛠 КАК СТАВИЛИ Мы пошли проверенным путём — собрали llama.cpp из исходников. Это тот же движок, что внутри Ollama, но мы контролируем каждый флаг компиляции. Шаги: 1. Клонировали репозиторий llama.cpp 2. Собрали через CMake с флагами, отключив AVX/AVX2 и Metal 3. Скачали модель Gemma 2B в формате GGUF с Hugging Face 4. Запустили через llama-cli, принудительно отключив GPU 🚧 С КАКИМИ ПРОБЛЕМАМИ СТОЛКНУЛИСЬ 1. Metal (GPU). llama.cpp пытался использовать GTX 680, но карта не тянет современные инструкции. Решили принудительным отключением. 2. Маркдаун-форматирование. Gemma любит ставить звёздочки и прочее в ответах. Победили через правильный системный промпт. 3. Кривые руки с bash-скриптами. Пару раз получали dquote> вместо работающего скрипта. Но это уже классика. 🏆 ЧТО В ИТОГЕ На Mac Pro 2008 года теперь работают ТРИ нейросети: 1. Stable Diffusion 1.5 — изображения 2. ACE Step — музыка (аналог Suno) 3. Gemma 2B — чат-модель от Google Все три — полностью локально, без подписок и цензуры. P.S. В видео с 01:05 звучат музыкальные композиции, полностью сгенерированные на нашем бронтозавре — Mac Pro 2008. В промтах были чёткие указания петь по-русски, но нейросеть выдала нечто, больше похожее на древнескандинавские руны. То ли викинги, то ли эльфы — мы сами не поняли, о чём они там поют. Проблему решаем, языковые настройки докручиваем! Если кто-то узнал язык и перевёл текст песни — просим считать это случайным совпадением или плодом вашего воображения. С нас взятки гладки. Мы просто нажимали кнопки 🤷‍♂ #MacPro #RetroComputing #AI #Gemma #GoogleAI #DevOps #Python #Cpp #ЛокальныйAI #Xeon #MachineLearning