🍏 ИИ НА MAC ЗАШЕВЕЛИЛСЯ Большая языковая модель теперь может работать на Mac почти без пауз — и без облачного сервера где-то за горизонтом. Похоже, узкий движок иногда полезнее универсального комбайна. 🧠 РАЗБИРАЕМ ПО СУТИ • 🧠 Perplexity сделала собственный движок В Lily модель Qwen3.6-35B-A3B запускается прямо на компьютерах с Apple Silicon. Движок написали с нуля под конкретную модель и чипы Apple.

• 💾 Модель помещается в 19,4 ГБ Qwen3.6-35B-A3B использует 4-битную квантизацию, поэтому может работать даже на MacBook с 32 ГБ памяти. Место останется и для Chrome, и для привычного цифрового бардака 🐈

• 📚 Контекст растягивается до 128K токенов В модель можно загружать большие книги, кодовые базы и архивы переписки. Она рассчитана на длинные материалы, а не только на вопрос из двух строк.

• ⚙️ PyTorch и MLX остались за бортом Lily не опирается на эти фреймворки и не тащит за собой лишние зависимости. Всё управление памятью, GPU и распределением экспертов заточено под эту связку 🧩 🔥 ВОТ В ЧЁМ ФИШКА! ▸ Узкая специализация даёт скорость Lily оптимизировали не «на всякий случай», а под Qwen3.6-35B-A3B и Apple Silicon. В этом и фокус: меньше универсальности, зато больше контроля над конкретной задачей 🎯

▸ Ответ появляется почти сразу На MacBook Pro с M5 Max обработка входного текста идёт в 1,23 раза быстрее, чем в MLX-LM, а генерация — в 1,35 раза быстрее. На контексте 4K скорость достигает 187 токенов в секунду ⚡️

▸ Локальный запуск меняет правила Модель работает на собственном компьютере, без API-лимитов и оплаты каждого токена. Данные не нужно отправлять в облако, хотя за приватность всё равно отвечает тот, кто настраивает устройство 🔐

▸ Mac получает роль AI-станции Раньше Apple Silicon часто воспринимали как железо для браузера, монтажа и красивого стола. Lily показывает: при правильном движке тот же Mac может быть серьёзной машиной для локального ИИ 💻

▸ Открытый код может разогнать проект Perplexity планирует открыть Lily в ближайшее время. Если это произойдёт, сообщество сможет делать форки и адаптировать движок под свои задачи 🛠 💼 ГДЕ СКРЫТ РИСК? ▸ Локальные ассистенты станут практичнее Потенциальный сценарий: компания запускает модель на Mac и даёт ей внутренние документы без отправки файлов во внешний API. Но конкретная безопасность будет зависеть от настроек и самого устройства 🔒

▸ Большие материалы можно держать рядом Потенциальный сценарий: разработчик загружает кодовую базу, а исследователь — архив документов и задаёт вопросы локальной модели. Контекст до 128K токенов делает такие задачи реалистичнее 📚

▸ Разработчики начнут спорить не только о моделях После открытия кода внимание сместится к движкам: какой лучше дружит с конкретным чипом, памятью и архитектурой. Универсальный подход больше не выглядит единственным правильным 🧠

▸ Облачный ИИ получит локального конкурента Lily не отменяет серверные модели, но делает локальный запуск заметно удобнее для владельцев Apple Silicon. Если другие команды повторят этот путь, «модель на своём компьютере» перестанет звучать как эксперимент ⚡️ 🔹🔹🔹🔹🔹🔹 🏆 ЛУЧШИЕ ПРОМПТЫ В PROJECT POOL 🤖 ИИ АГЕНТЫ — собери своего 📈 ИИ-агенты. - просто и понятно #новости #news #нейросети #ии

В этом посте были ссылки, но мы их удалили по правилам Сетки