🚀 LILY УСКОРЯЕТ ИИ НА MAC Большинство локальных ИИ запускаются по принципу «один движок для всего». Perplexity решила, что иногда быстрее работает не универсальный комбайн, а очень хорошо заточенный нож. 🧠 ЧТО ЭТО? • 🧠 Perplexity открыла Lily Это локальный движок для запуска Qwen3.6-35B-A3B на чипах Apple Silicon. Lily написан на Rust и использует собственные Metal-ядра — без PyTorch и MLX в цепочке выполнения.

• ⚙️ Движок заточен под одну связку Lily не пытается поддерживать всё подряд. Он рассчитан на одну модель и одно семейство чипов — именно поэтому разработчики смогли глубже оптимизировать каждый этап работы. Скачать код можно в Lily на GitHub. 🔥 ЧТО МЕНЯЕТСЯ? ▸ Специализация обгоняет универсальность На M5 Max Lily показал в среднем 4 156 токенов/с на обработке входного текста и 170 токенов/с на генерации. У MLX-LM — 3 388 и 126,4 токена/с соответственно, по замерам на десяти длинах контекста 🤏

▸ Память не гоняют туда-сюда 4-битное распаковывание весов объединили с вычислением матриц. Расширенный массив весов не попадает в общую память, что дало до 77,4% прироста скорости обработки промпта на 512 токенах 🧠

▸ Длинный контекст тоже не забыли Для больших запросов Lily держит последовательность маршрутизации в одном GPU command buffer, использует упаковку GQA и отдельную раскладку внимания после 32K токенов. На контексте 128K декодирование ускорилось на 40,2% ⚡ 💼 КУДА ДВИЖЕТСЯ РЫНОК? ▸ Mac становится интереснее для локальных моделей Потенциальный сценарий: разработчик запускает крупную модель прямо на Apple Silicon и получает более быстрый отклик без облачного сервера. Но преимущество Lily привязано к конкретной модели и чипам Apple — универсальным решением он не стал 🍎

▸ Рынок может уйти от «одного движка для всего» Если такой подход продолжит давать прирост, разработчики будут чаще собирать отдельные движки под конкретные модели и видеочипы. Это похоже на переход от универсального инструментария к гоночному болиду: быстрее, но только на своей трассе 🏎️ 🔹🔹🔹🔹🔹🔹 🏆 ЛУЧШИЕ ПРОМПТЫ В PROJECT POOL 🤖 ИИ АГЕНТЫ — собери своего 📈 ИИ-агенты. - просто и понятно #новости #news #нейросети #ии

В этом посте были ссылки, но мы их удалили по правилам Сетки