Установили и запустили мы локальную LLM, работает она с сервисами и агентами по API.

Но хочется же большего?

Поговорить хочется. (Не будем обсуждать причины возникновения желания разговаривать с неодушевленным предметом)

А давайте прикрутим Open WebUI - интерфейс для общения с Нейросеткой - Ollama в нашем случае.

Просто дорабатываем docker-compose.yml

services: ollama: image: ollama/ollama:latest container_name: ollama volumes:

  • ollama:/root/.ollama ports:
  • 11434:11434 restart: unless-stopped

open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui volumes:

  • open-webui:/app/backend/data ports:
  • 3000:8080 environment:
  • OLLAMA_BASE_URL=http://ollama:11434 depends_on:
  • ollama restart: unless-stopped

И на адресе //localhost:3000 у вас заведется ваша LLM. Выбирайте версию модели и пробуйте.

Вот так я себе план на выходные накидал - разобраться с этим получше. И вы попробуйте!