Как-то мимо меня прошел релиз командыdocker model, который случился в апреле 🚀 Теперь не нужно мучаться со штуками типа GPT4All и прочими сторонними model runner-ами (правда пока поддерживается только чипы Apple Silicon).

docker model позволяет пулить и запускать команды на нужных вам моделях:

`docker desktop enable model-runner docker model pull ai/smollm2:360M-Q4_K_M docker model run ai/smollm2:360M-Q4_K_M

После чего моделька становится доступна для ваших контейнеров по адресу http://model-runner.docker.internal/engines/v1

Что это дает для разработчиков: ➡️ Можно использовать любую модель c Docker Hub.

➡️ Можно быстро опробовать разные модельки локально, без необходимости поиска/покупки ключей.

➡️ Для всех моделей используется OpenAI-совместимый API. Так что нет необходимости писать разные адаптеры под разные модели.

P.S. Вот тут можно посмотреть примеры использования на Go, Rust, Python и Node: hello-genai`