Недавно немного поэкспериментировал с локальными большими языковыми моделями (LLM). В основном использовал DeepSeek Когда впервые запускаешь LLM у себя на компьютере, это вызывает очень вдохновляющее чувство. То, что ещё вчера работало только в облаке и требовало гигантских ресурсов, сегодня можно развернуть у себя за пару минут. Конечно, с качеством есть нюансы: самую мощную и качественную модель на домашний ПК не поставишь, но вполне работоспособную для конкретных задач — легко, если железо более-менее современное. Чем точно хороши даже небольшие модели — это своего рода справочник, который всегда под рукой, независимо от интернета. Не знаю, есть ли такие узкоспециализированные модели для других профессий, но для программистов — точно есть. Весят немного, а по простым вопросам подсказывают без проблем. Недавно купил ноутбук с 16 ГБ ОЗУ и 6 ГБ видеопамяти. Модели на 7 миллиардов параметров работают очень быстро, иногда отвечают почти мгновенно. На 14 миллиардах уже чувствуется замедление, но пользоваться всё равно можно. Модель на 33 миллиарда в квантованном виде тоже удалось запустить, но у меня не хватило около 1,5 ГБ ОЗУ. Можно было взять версию с ещё более сильным квантованием, но, думаю, это уже перебор для моих ресурсов. У меня на ноутбуке стоит Linux, но я также ставил модели и на ПК с Windows. На Windows, если правильно помню, хватило трёх команд в терминале: скачать Ollama, загрузить модель, запустить её (всё через Docker). В Linux команд чуть больше, но тут же сам облачный DeepSeek отлично подсказывает, как всё настроить. На работе попробовал сделать RAG-систему. Пока в процессе, и первые результаты пока не очень. Когда будет что-то законченное и появятся интересные результаты, возможно, напишу об этом отдельный пост. #llm, #нейросеть