Главное отличие платных API от open-source моделей в том, что последние мы разворачиваем сами — на своих серверах и с последующим обслуживанием. И это важно понимать с самого начала.

Open-source модели бывают разного размера и уровня «мощности». Например, модель Gemma3:12B спокойно работает на одной видеокарте с 12 GB памяти, что совсем бюджетно. Она отлично справляется с текстами, но плохо пишет код и не умеет работать как агент.

Если же нам нужен генератор кода, придётся брать что-то вроде Deepseek-v3.1, и тут уже понадобятся 8 GPU H100. Это на несколько порядков дороже.

Примерно так: сервер для работы с текстом — фиксированные ~$300 в месяц. А для генерации кода — легко может вырасти до $30 000 в месяц. И это для одного потока: нейросеть обрабатывает запросы по очереди. Если хотим запустить, скажем, пять параллельных потоков — расходы сразу удваиваются или утраиваются.

Ещё нюанс — обслуживание. Иногда модели начинают «думать» слишком долго или уходят в бесконечные циклы. В такие моменты сервер становится недоступен. Поддержка локальных моделей требует контроля и опыта, нюансов много.

Плюсы своего сервера:

• Фиксированные, прогнозируемые расходы — ты точно знаешь, сколько тратится на мощности.
• Локальное хранение данных — твои персональные или корпоративные данные остаются под контролем.

У платных API это же главные минусы: постоянно разные счета за токены, расходы могут резко прыгать, а конфиденциальные данные могут стать публичными (в этом году было несколько случаев, когда переписки с нейросетями стали доступны в публичном доступе).

Как выбирать модель и формат работы?

1. Сначала оцениваем сложность задачи и какой LLM нужен. Для краткого пересказа статьи из газеты не нужен «топовый» суперкомпьютер — с этим справится лёгкая LLM. 2. Стартуем на платном API и считаем месячные расходы. 3. Потом считаем, сколько будет стоить развернуть аналогичное решение у себя. 4. Когда расходы на API приблизятся к стоимости своего сервера — пора переходить на open-source.

После перехода компании обычно получают сервер с запасом мощности на 3–4× кратный рост нагрузки — именно здесь и проявляется реальная экономия.