За четыре года практики я сделал 29 внедрений ИИ. Три случая, где результат измеряется деньгами, и три вещи, которые я понял после запуска.

Своя модель вместо облака. Компания платила за инференс по API, данные по 152-ФЗ нельзя выносить. Развернули Llama 3 70B на двух A100 с vLLM в контуре, посчитали TCO, собрали пайплайн обновления моделей. Железо окупилось за четыре месяца. Иначе: сразу закладывать лимиты по токенам, иначе один тяжёлый запрос портит латентность всем.

RAG на 50 000 страниц. Операторы искали ответы руками. Mistral 7B с RAG на Qdrant: гибридный поиск BM25 с плотным, переранжирование, нарезка документов по смыслу. Нагрузка на поиск минус 60%. Иначе: не тратить недели на выбор модели, качество решают нарезка, переранжирование и цитаты.

Платформа на 200 000 RPS. Инциденты тушили руками, SLA не считали. Ввели SLI и SLO с error budget, дежурства, разбор без виноватых. Результат: SLA 99.9%, простои минус 45%, облако минус более чем вдвое. Иначе: сначала SLO, потом инструменты.

Три вывода. Считайте TCO до покупки железа. Без SLO нет надёжности, есть ощущение. Модель это десятая часть работы, остальное данные, инфраструктура и люди.

Роман Таганов, инфраструктура и локальный ИИ.