Подергал разные модели на тему ИИ локального
Так вот получилось что есть в наличии андройд мобилки 2-4 гига оперативы, памяти по 64-128, виндовый ноут и интеловский мак, решил узнать можно ли это заставить по мнению моделей программировать, решил упростить задачу изначально и указать что стек у нас C#, MAUI.Net.
Так вот, если в бухать сюда мак мини или студио, на примерно 2-2,5 ляма максисиум ускорят генерацию в 10 раз, за пример брал Яндекс.Go(СупперАпп) (и под все возможные экраны и системы) вместо 50 минут обещает сделать за 7.5 минут в идеале.
Ну а так вот базовый набор я указал виндовый комп это интел i3 5005u 16гигов оперативы, мак это i9 2019 года, модель проца не помню, 32 гига. Ну и 10 андройдов.
Система | Идеальное время |Реалистичное 8× Mac mini M4 Pro |7.5 минут |15–20 минут 4× M4 Max. |8.5 минут. |18–22 минуты 1× M3 Ultra |12 минут |25–30 минут Исходная (12 узлов)|50 минут |90–120 минут
За таблицу простите, как смог
Во всех пунктах исходная учитывается, то есть добавление мощного решения в целом на данном этапе не очень спасает сколько организация оркестрации. А решил я это после прочтения статьи на хабре, прикинуть что чисто теоритически предложат модели. Статью пришлось им прям копиросать, читать не хотят по ссылкам.
https://habr.com/ru/amp/publications/1064114/
И то если часть перекинуть на иженера по мнению иишек этот выйгрыш сводится к 2-3 разам, если он напишет качественный промт.
· 07.08
За MediaTek и Mac стоимостью в 2 ляма не скажу. Но кручу локально у себя дома llama 70B на MacStudio за 300К. Скорость ~ 8.7 токенов в секунду.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 07.08
Ну это большая модель вполне, а про в 1 лям вот что примерно можно получить на маках
По мнению DeepSeek, что нашел в истории
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 07.08
За 2 ляма (М3 Ultra 512) я бы 405-ую Ламу туда залил. Будет немного тупее бесплатного ГуглаИИ + скорость выше 4-х токенов/с вряд ли поднимешь. Но пока (почти)топовые модели бесплатны смысла вбухивать такие деньги в борзого джуна с IQ в пределах 90 очков (=очень посредственно) как-то не вижу. Лучше часть этих денег потратить на аренду профессиональной стойки NVidia и разобраться, как эти модели внутри устроены. Прям плюсовый код почитать-покрутить. Но это пока. Как только все джуны уйдут в курьеры и сварщики, а синьоры растеряют навыки из за ИИ, Гугл и Ко выкатит нам прайс на баксов 100 за месячную подписку ) Тогда M3 Ultra уже не будет казаться просто модной игрушкой )
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 07.08
Но как говорят модели все зависит от задачи если надо и можно параллелить задачи то тут лучше несколько компов/устройств, почему у меня и получилось что m3 ultra выигрывает в виде большой можели но проигрывает в скорости против того что у меня есть в теории. Да у меня этот набор есть, но было сначало интересно что с ним можно сделать и потом решил сравнить. Если задача последовательная то да огромная модель лучше справится, если паралельно можно делать, то уступает куче маленьких.
Ну на моем например сете базовом игры не напишешь, а вот бизнессовые приложения только в путь)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён