Выдам неудобную правду про локальные LLM. А то в интернетах много слов про "скачал AI к себе на рабочий ноут и в ус не дую".

Забейте, вам оно не надо в 95% случаев, и вот почему.

1. Качество - шляпа. Модель на 8B, которую можно крутить на большинстве повседневных устройств - понимает русский язык, но думает, как школьник. Разрыв между ней и облачным ChatGPT - пропасть. Даже модели, которые с трудом влезут на игровые видеокарты, способны только на короткие банальные сессии в духе саммари или перевода. Эффекта топовой облачный модели можно достигнуть только если у вас есть свой дата-центр.

2. Скорость не тянет в риалтайм. Если у вас не топовый MacBook Pro/Ultra или не RTX 4090 - вы будете постоянно ждать даже на самых простых моделях.

3. Бесплатность - миф. За стоимость подходящего компа вы можете купить Pro-подписку Claude на 15 лет.

4. Русский язык - боль. Какая-нибудь Llama на английском и русском - два разных уровня интеллекта. На русском она будет жёстко тупить, путать падежи и выдавать шаблонные тексты.

5. Пишут, что квантизированные (пожатые) модели почти ничем не отличаются от старших братьев. Это чушь, еще как отличаются. Особенно с русским языком.

6. Смотреть картинки и документы, понимать голос и PDF, кодить - все это либо не будет работать вообще, либо на уровне "на картинке вроде есть животное".

Для кого и чего это реально может быть полезно:

  • для паранойиков, юристов и закрытых контуров
  • для фоновых цепочек банальных сценариев
  • для генерации картинок по ночам
  • для разрабов, которым надо интегрировать AI в свой софт
  • для энтузиастов похвастаться перед друзьями
  • для работы без интернета

По железу: Обычный рабочий ноут - забудьте. Игровой ноут - работает, но с эффектом "ну такоое". Десткоп с RTX 3060 - можно что-нибудь полезное сделать, если очень захотеть. Мощный игровой комп - будет даже прилично, но все еще не ChatGPT 5. MacBook Pro M2 и выше - аналогично. Топовый Mac за 4000 долларов - топ, но нафига? Компы старше 5 лет, ноуты на AMD, MacBook Air - для извращенцев.

По софту: Ollama как база. LM Studio если нужен красивый интерфейс.