Глава 6. 👑 Возвращение короля: Хранитель датасета восходит на трон 🏰

Пока красная команда учила систему выживать, Хранитель собирал то, на чём проверяют всё остальное, — золотой датасет 💛: артефакт, скромнее любой платформы. Пары «вход — ожидание» из реального продакшена, размеченные людьми. Инструменты и судьи — антураж; без набора отчёт о качестве — вежливое гадание. Классика испытывала кейсами за столом; новая — копией правды: живыми запросами, из которых треть — adversarial и бестолковые, ведь пользователи пишут ровно так 🧟. Сто разнообразных кейсов бьют тысячу близнецов, а иерархия та же: один набор, чтобы править всеми прогонами 💍.

Золотая драгоценность тускнеет, как всякая долго хранимая вещь 🫥. Датасет — слепок реальности на дату сборки, и разъедают его два яда. Первый — дрейф распределения: пользователи меняют формулировки, и набор полугодовой давности меряет не тот продукт; симптом — офлайн-метрики зелёные 🟢, а жалобы растут. Второй — дрейф меток: изменился сам продукт, и модель может быть права, «проваливая» устаревший эталон. Противоядие — движение 🔄: свежие выборки подмешиваются, прогон несёт версию датасета — иначе оценки несравнимы. Как уборка в Бэг Энде, она не заканчивается 🧹: датасет — не монумент, а журнал наблюдений.

Соблазн нагенерировать всё синтетикой ведёт в Мордор кружным путём 🌋. Ловушек три, у каждой — имя и улика. Само-загрязнение: данные от той же модели дают всплеск «улучшений» — узнавание, а не понимание: рост на пятнадцать пунктов при неизменных реальных метриках — не прорыв, а повод для аудита 🚨. Шум: до трети сгенерированных промптов дефектны — противоречивое условие, неверная метка, — и непроверенная синтетика разбавляет золото. Модельный коллапс: замещение реальных данных портит качество поколение за поколением. Правило Хранителя: синтетика — приправа, а не блюдо 🍲; генератор — из другого семейства; каждый кейс проходит человеческую проверку; датасет несёт дату рождения и имя генератора.

Зрелая практика замыкает контур в петлю 🧭. Оценка живёт в трёх временах: пре-деплой на золотом наборе, гейтящем релиз; CI, где падение метрик блокирует мерж раньше, чем его увидит менеджер; непрерывная оценка потока, где скореры ловят непредвиденное 🛰️. Главный дивиденд: провал в проде перестал быть инцидентом и стал активом — сбой размечается и переезжает в золотой набор на вечное дежурство. Ошибка, случившаяся однажды, не повторится незамеченной — в классике за это дали бы медаль 🎖️, здесь это гигиена. Линия качества условной команды, сползающая за квартал с 95 до 87 процентов, видна лишь на трендах 📉: в единичном прогоне она невидима, поэтому тренды — тихий детектор утечек.

Наконец, без шуток: качество тестирования стало юридическим вопросом ⚖️. Европейский AI Act перешёл из проектов в календарь: пользователь обязан знать, что говорит с машиной; синтетический контент маркируется машинно-читаемой меткой; штрафы — проценты мирового оборота. Для QA это конкретно: прогон-логи, версии датасетов, согласованность судьи с людьми и отчёты red team — не дисциплина, а доказательная база, которую регулятор запросит папкой 📁. Впервые тестировщик пишет документы, которые читают юристы.

Что с профессией? Инженер, чья гордость держалась на ловле воспроизводимых багов, потерял опору и обрёл власть 👑. Качество больше не проверяют, а конструируют: датасет проектируется, дрейф измеряется, судьи валидируются, сегодняшние сбои становятся кейсами. Появилось имя ремесла — eval engineer, тот, кто спрашивает правильно ❓ и знает, когда ответы лгут. Хранитель честен с собой: нет гарантий, только пороги; нет истины, только согласованность с людьми; нет финиша, только следующий прогон — система работает, даже когда модель обманули. А началось всё с флейка Гэндальфа: магия без воспроизведения бага стала измеренной величиной 🧙. Средиземье знало, как маленький носильщик донёс артефакт до конца 🧝, — но у QA-инженера сюжет иной: артефакт ежедневно остаётся живым, а нести его приходится не к Ородруину, а в CI. На этом сага не заканчивается — она переходит в ежедневный билд 🚀.