Senior DevOps Engineer в Лаборатория Касперского
· 09.07.2024 · ред.
Вопрос
Кто нибудь пробовал локально разворачивать Llama 3 модель на 70B? Интересно на каких мощностях оно нормально взлетает
напишите коммент
6 комментов
Magomed Naurbaev
· 10.07.2024
На mac air m1 большая нагрузка от любой модели
0
ответить
коммент удалён
Павел Бодиенков
· 10.07.2024
Ммм... На м1 хватило ресурсов для локального инференса модели с 70 млрд параметров? Оо
0
ответить
ответ удалён
Андрей Шульга
· 09.07.2024
Интересно. (Еще интересно, поднимаются ли вопросы при добавлении комментов)
0
ответить
коммент удалён
· 10.07.2024
С 4090 было вполне неплохо, но все зависит от ваших задач :)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 10.07.2024
Хочу погонять разные вариации в генерации текстов, может кода... Хорошо, значит нужно смотреть сервера минимум с одной 4090, а лучше больше)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 10.07.2024
Ага, для rnd тогда норм будет)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён