Небольшое наблюдение из опыта создания AI агентов.

Наш замечательный Docker-compose с контейнером Ollama, упорно не хочет качать простые модели LLM.

А нам "посЧупать" надо. Как это все устроено. Кругом инфоцыгане, рассказывают нам про миллиарды, всякие оркестрации агентов AI.

Решение, дадим Docker возможность скачать модель, дадим доступ в интернет:

docker run -d --name bank-ollama --network host -v ./containers/ollama/data:/root/.ollama curiouslycory/ollama:tinyllama

И пусть качает модель docker exec -it bank-ollama ollama pull tinyllama

Посмотрим скачал или нет: docker exec -it bank-ollama ollama list

Смотрим, все ок, модель загрузил NAME                    ID               SIZE tinyllama:latest     2644915ede35    637 MB