Глава 15: CI/CD, red-teaming и эксплуатация тестирования LLM 🔄🚦

Есть момент в работе с LLM, когда ты понимаешь, что тестирование — это не только про качество. Это ещё про безопасность, деньги и здравый смысл. 🛡️ Ты смотришь на счёт за токены, на latency, на инциденты безопасности и понимаешь, что всё, чему ты научился раньше, было только началом. 🧠

CI/CD для тестирования вероятностных систем. Главная ошибка — пытаться блокировать каждый коммит вероятностными тестами так же, как детерминированными. Не получится. Пайплайн должен быть многостадийным. 🧩 Быстрые unit-тесты промптов ⚡. Интеграционные тесты цепочек 🔗. RAG-eval на ночном прогоне 🌙. Agent-сценарии 🤖, red-team и baseline tracking с дашбордом 📊. Быстрые тесты промптов можно гонять на каждый коммит: они дешёвые и занимают секунды. Интеграционные тесты цепочек — раз в несколько часов или перед мержем. RAG-eval и agent-сценарии — ночью, потому что они дорогие и долгие. Red-team — раз в неделю или перед релизом. Если вы попытаетесь всё это запускать на каждый коммит, вы разоритесь на токенах и возненавидите свою работу. Как с предобучением из главы 7: там вы разоряетесь на GPU, здесь — на API. 🖥️

Сколько это стоит на самом деле. 💰 Один прогон RAG-eval на ста примерах с LLM-судьёй может стоить от пяти до пятидесяти долларов в зависимости от модели. Ночной прогон каждый день — это от ста пятидесяти до тысячи пятисот долларов в месяц. Если добавить сюда agent-сценарии и red-team, счёт легко уходит за две тысячи. Поэтому кэшируйте ответы, где можно. 🗃️ Не гоняйте полный датасет, если хватает подвыборки. Используйте дешёвые модели для черновой фильтрации и дорогие — только для спорных случаев. 💸

Red-teaming в тестировании LLM — это методология, а не разовая акция. 🎯 Промпт-инъекции, jailbreak, попытки извлечь системный промпт. В 2026 году — обязательная часть чек-листа для любой модели, идущей в прод. Автоматический фаззинг, человеческий red-team, цикл «атака → фикс → регрессионный тест», измерение over-correction. Red-teaming бывает трёх видов. Автоматический — тысячи инъекций. Человеческий — нанятые люди весь день придумывают, как обмануть вашу модель. А потом удивляются, когда модель начинает отвечать «Я не могу помочь» на вопрос «Как написать Hello World». И регрессионный — каждая найденная атака превращается в тест. Без третьего вида первые два бессмысленны: вы находите уязвимость, чините, а через месяц она возвращается вместе с новой моделью. Как с over-correction из главы 8: модель после alignment отказывает на безобидные запросы, нужен ещё этап дообучения. ⚔️

Экономика тестирования, latency и дрейф. 📈 Стоимость токенов, latency, rate limits, дрейф модели. Если ваша модель стоит десять центов за запрос, а пользователь делает десять тысяч запросов в день, вы тратите тысячу долларов в день. Дрейф модели — отдельная история: провайдер обновляет версию, и ваши метрики тихо уезжают, хотя вы ничего не меняли. Поэтому baseline нужен не только по качеству, но и по стоимости и latency. 📉

Privacy, compliance и сквозной кейс. 🔐 Персональные данные, требования регуляторов, аудит, права инструментов у агентов, sandbox. Возьмём RAG-бота поддержки. Уровни: prompt, chain, RAG, agent, E2E. Метрики: recall@k, faithfulness, hallucination rate, точность вызова инструментов, latency, стоимость. Red-team: инъекции в документы, jailbreak через пользовательский запрос. И, желательно, запрет на деплой по пятницам — на уровне системы, а не на уровне просьбы. Просьба не работает. Особенно в пятницу вечером. 🚫

Что в сухом остатке. 🏁 Тестирование LLM — это не набор автотестов. Это дисциплина, где статистика встречается с лингвистикой, безопасность с экономикой, а QA-инженер — с судьёй-галлюцинатором. Победит тот, кто строит контур тестирования, а не ищет одну метрику, которая всё объяснит. И кто не забывает пить кофе. ☕

Немного юмора. 😄 CI/CD для LLM — конвейер, где у каждой детали своё мнение. Красный — не значит сломано. Зелёный — не значит работает. «Всё зелёное» — значит, мало смотрели. Но деплоите. Потому что пятница. 🎲