arrow

назад

ask

Вопрос

Используете ли вы локальные LLM (через Ollama/vLLM) для бизнес-задач или облака пока безальтернативны?

repost

374

input message

напишите коммент


8 комментов

Только локально

0

ответить

Для визуального контента не вижу смысла это делать сейчас. Т.к. рынок памяти дорожает. Чтобы развернуть что-то стоящее у себя нужно потратиться. Но зачем это делать, если компании занимающиеся нейросетями предоставляют платформы бесплатно? Есть много вариантов. Другое дело, что Россия режет доступ... Но это решаемо.

0

ответить

Если есть ненужный макмини, можно запустить Clawdbot (moltbot).

0

ответить

Gamma 3 8b От гугла читает фотки и пдф Macbook air на m1 21 года

0

ответить

Нет. Машина старая тянет с трудом.

0

ответить

Локальный flux использую. Но не через ollama конечно. Модель установлена и webui

0

ответить

Локальные в смысле прям локальные (к примеру на той же машине, что и работаю - в моем случае macbook) - да, но в основном для экспериментов. Локальные - в смысле внутри контура организации - да, конечно, с этим можно уже работать, хотя напрямую зависит от вашего оборудования. Облачные в плане гибкости - пока лучший выбор, по моему скромному мнению. Но есть свои нюансы, увы, поэтому это не везде применимо (я про облака ;) ).

0

ответить

Использую, осталось найти способ, как интегрировать в vs code

0

ответить

еще контент автора

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится