Локальные модели наконец-то стали юзабельны
Ещё год-два назад запустить LLM на своём ноуте было занятием для энтузиастов: тормоза, кривые ответы, мучения с настройкой. Сейчас всё поменялось — модели на 7-30B качаются за пару минут и работают на обычном MacBook или ПК с нормальной видеокартой.
Что это даёт на практике: — разбираешь рабочие документы и переписку без отправки данных в чужое облако — код-ассистент работает офлайн, в самолёте или без интернета — нет лимитов и платы за токены — гоняй сколько хочешь
Самый простой старт — поставить Ollama и запустить модель одной командой:
ollama run llama3.1
Дальше можно подключить локальный чат через Open WebUI и получить интерфейс как у ChatGPT, только на своей машине.
Главный вывод автора: для большинства повседневных задач (суммаризация, черновики, помощь с кодом) локальная модель уже не уступает облачной — а данные остаются у тебя.
https://vickiboykis.com/2026/06/15/running-local-models-is-good-now/
· 17.06
Гоняю llama3.1 локально под код-ассистента месяца три. Главный выигрыш не приватность, а скорость итерации: нет рейтлимита, можно долбить модель сотней запросов пока подбираешь промпт. Но на проде вернулся к облаку: 8B сыпется там где нужен большой контекст, держит стабильно где-то до 20-30к токенов. Для разбора локальных доков и быстрых хелперов огонь, для архитектуры пока слабовато.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён