Сайт: https://ollama.com/

Мощный и удобный фреймворк для разворачивания больших языковых моделей локально в одну команду.

На этом можно было бы и закончить короткий пост (ведь про ollama и так все и всё знают), но немного о моих впечатлениях и личных кейсах для использования.

Краткое резюме: Максимально просто, максимально эффективно, просто берешь и разворачиваешь в одну команду локальную llm, которая работает даже без интернета и не сливает твои данные, API для интеграции в различные инструменты, в том числе тобой написанные.

Зачем оно надо?

Есть множество причин по которым вы можете захотеть иметь локально развернутую llm. Сходу могу придумать несколько (но список, естественно, не исчерпывающий):

• вы работаете с чувствительными данными (например, анализируете секретные рецепты бабушкиных пирожков)
• вы работаете в месте без возможности использования популярных решений (например, в бомбоубежище под Кремлем с подключением к внешней сети с 15:00 до 15:30 со специального рабочего места)
• вы хотите llm даром навсегда и без ограничений
• вы хотите закастомить llm под вас (для ассистента, который будет знать все секретные бабушкины рецепты) и быстро развернуть.

Лично я использую так:

• поисследовать проблему, рассмотреть задачу с разных сторон и поискать корнер кейсы
• как старт в проработке задачи из незнакомой области
• написать куски кода с небольшим контекстом, например юнит тест на конкретный метод
• сформулировать или переписать что-то с технического на человеческий
• составить какой-нибудь план или отчет написать/оформить README доку.

Восторги

Устанавливается максимально просто по инструкции с сайта. Запуск модели при установленной ollama в одну команду из консоли (даже для Windows). Пишем что-то вроде: ollama run gemma3 где gemma3 - имя модели из имеющихся в наличии (в данном случае от Google). И всё: моделька сама скачается (если запуск первый) и запустится. И вот уже у вас личный чат с умной искусственной штуковиной.

Список моделей внушительный и его можно посмотреть тут: https://ollama.com/search

Работает не зависимо от наличия у вас GPU: одна и та же модель прекрасно себя чувствует и на моем компьютере со старенькой видеокартой с 8 Гб видеопамяти и на рабочем ноутбуке без видеокарты. Первый вариант просто работает заметно шустрее.

Кроме чата в консоли, ollama предоставляет API который знают некоторые инструменты, заточенные под работу с llm. Например, плагин Continue в VS Code вполне может подключится к локальной модели через ollama и сделать вид, что вы теперь используете cursor (только импортозамещенный, а потому слегка туповатый и кривоватый особенный).

Разочарования

Чудес не бывает. Полноразмерные модели, предоставляющие доступ через API очень большие или очень закрытые и не впихиваются в стандартный домашний компьютер или их нет в открытом доступе. То, что реально можно запустить на домашней тачке - квантизированные модели с числом параметров до 32 миллиардов. Например, модель deepseek-r1 671b весит 404 Гб, и мне кажется сомнительным наличие такого объема оперативки и тем более видеопамяти на офисном компьютере.

Без нервов и тормозов на моем железе запускаются 7b - 14b модели и они, конечно, ощутимо хуже Claude Sonnet в написании кода, но они все еще очень хороши во многих вопросах.

А что по финансам?

Халява