Мысли вслух для тех, кто хочет использовать LLM локально и не тратиться на обезличивание конфиденциальных данных.

Сейчас есть много бесплатных локальных LLM. На рутинных бизнес-задачах в роли AI-агента они могут работать чуть медленнее публичных DeepSeek или Qwen, зато без оплаты API и без отправки данных наружу.

Достаточно собрать небольшой локальный сервер на Linux с доступными open-source LLM.

*Что нужно: · своё железо минимум с GPU уровня RTX 3090; · такую карту 2022–2023 года можно купить от ~60 000 ₽; · при нормальной эксплуатации она прослужит ещё около 4 лет; · в 24 GB VRAM помещаются вполне мощные локальные LLM, которых хватит для типовых задач компании до 100-200 человек, если не требуется скорость результирующего ответа от нейронки.

*Профит: всю рутину можно повесить на модель, если внутри настроены фоновые и регламентные процессы.

Пользуйтесь. Экспериментируйте. Через год может быть уже поздно)