Глава 3. 🦉 Леголас против GPT: судья, который сам сгенерирован 👁️

Когда содержание ответа нельзя сверить со строкой, нужна оценка по смыслу, и индустрия выработала трёхслойную схему, ставшую де-факто стандартом. Первый слой — детерминированные проверки 🧪: схема ответа, регулярные выражения, длина, наличие обязательных блоков. Быстро, дёшево, честно. Второй слой — LLM-судья 🤖: отдельной модели дают ответ и рубрику — «оцени фактическую точность от 1 до 5, отметь галлюцинации» — и она возвращает оценку. Третий слой — выборочная человеческая проверка 👥: разметка подмножества ответов людьми, чтобы понимать, насколько судье вообще можно верить. Типовые цифры текущей практики: программные проверки и лёгкие классификаторы фильтруют автоматически, LLM-судья подключается только к спорным кейсам, человек размечает от пятидесяти до сотни кейсов в месяц.

Схема рабочая, но у неё есть ахиллесова пята: судья — тоже языковая модель, а значит, наследует болезни, которые призван лечить. Известны и описаны как минимум три систематических искажения. Позиционное смещение 🔀: при сравнении двух ответов судья тяготеет к первому или второму в зависимости от порядка подачи. Смещение к многословию: длинный ответ систематически получает более высокую оценку, даже если сказать им можно то же самое в два раза короче 📢. Самообожание 💅: модель-судья того же семейства, что и тестируемая, предпочитает ответы, похожие на собственный стиль. Отсюда практическое правило: рандомизируйте порядок, контролируйте длину при сравнении и не смешивайте семейства моделей, если хотите честной картины.

Второе правило: судью нужно валидировать, как валидируют любую модель. Это звучит иронично — тестировать тестировщика, — но это ровно та дисциплина, которая отличает инженерную практику от веры в магию ✨. Берётся размеченный людьми набор ответов, судья прогоняется по нему, считается согласованность с человеческими метками. Если судья и люди расходятся там, где люди согласны между собой, — судья не годится ❌, меняйте промпт, модель или рубрику. И да, согласованность людей между собой тоже меряется: иногда самым ненадёжным элементом схемы оказывается человечество в целом 🤷.

Третий инструмент — эмбеддинги и косинусное сходство 🧲. Для регрессии это спасение: вместо «ответ совпал со строкой эталона» проверяется «семантически близок к эталону». Формулировки могут меняться, смысл — нет. Это дёшево, быстро и отлично работает как первый фильтр: резкое падение сходства — сигнал, что промпт или модель что-то сломали, разбирайтесь 📉. Отдельная тонкость: эмбеддинги видят тему, но не факты, поэтому уверенно близкий к эталону ответ может по-прежнему содержать выдуманную дату — сходство не заменяет судью и вовсе не отменяет его, хотя, признаться, первое заметно дешевле в эксплуатации 💸.

Четвёртый слой — метрики, без которых разговор о качестве остаётся рассуждениями о погоде ☁️. Доля успешных запросов: цель достигнута или нет 🎯. Доля галлюцинаций: процент ответов с выдуманными фактами. Оценки релевантности и полезности, обычно по шкале. Compliance: доля ответов, соответствовавших формату, стилю и ограничениям. Отдельно меряются токсичность и небезопасный контент. И отдельно — экономика: токены и стоимость на запрос 💰, потому что качество без цены — половина отчёта, причём половина, которой бухгалтер не поверит.

Есть и философская неувязка, которую честные практики проговаривают вслух: мы доверили проверку текста машине, которая сочиняет тексты с той же уверенной безапелляционностью, с какой их сочиняет тестируемая система 🎭. Судья может ошибаться с той же невозмутимостью, с которой обвиняемый сочиняет алиби. Именно поэтому человеческий слой не отменяется никогда — он дёшев в пересчёте на инциденты, которые предотвращает 🛟. Ручная выборочная проверка — страховка, о которой вспоминают ровно тогда, когда она уже нужна, но которая не подорожала ни разу. Тестировщик, сомневавшийся в тотальной автоматизации, внезапно оказался самым пророческим сотрудником отдела — и, возможно, последним, кто умеет спросить «а верно ли вообще?» 🙋.