LLM-судья — лжесудья?
Когда вы просите ChatGPT или Claude оценить ваш пост, статью или продающий текст — модель ставит оценки… но они почти не совпадают с тем, как отреагируют живые люди. Исследование (arXiv 2604.06820, Фудань + Гонконг + Дикин) проверило это на 290 дезинформационных статьях и 2000+ оценках реальных людей. Главный разрыв: - LLM повышает балл за логику и структуру. - Человек верит и делится из-за эмоционального резонанса. Пример: конспирологический текст о «скрытой эпидемии из-за вакцин» люди оценили на 4.8 (доверие) и 5.6 (желание поделиться). LLM-судьи дали 1.62 и 1.0 — практически «фейк-мусор». При этом разные LLM между собой соглашаются почти идеально (корреляция 0.81), а с людьми — слабо (0.45). Консенсус моделей ≠ консенсус аудитории. Что делать? Не спрашивайте «насколько убедительно?» — модель ответит как редактор. Спросите отдельно: «Что логически слабо?» и «Что зацепит уставшего читателя в ленте?» Получите два честных ответа вместо одного обманчивого. Если ваш текст получил низкую оценку от ИИ — проверьте, возможно, он хорош именно за счёт эмоций, которые LLM не видит. LLM-судья — плохой прокси для человеческой реакции, особенно для контента, который должен цеплять аудиторию. Для технической документации смещение менее критично. Практический совет: разбивайте оценку на две роли — «редактор» и «живой читатель» — и не доверяйте единственному скорингу. Шаблон, который работает: Оцени {текст} с двух углов: Угол 1 — Редактор: Что здесь логически слабо? Где нет доказательств? Где аргументация не держится? Угол 2 — Живой читатель (конкретный портрет): Представь, что ты {Андрей, 38 лет, основатель, конец квартала, листает Телеграм в 23:15}. Что тебя зацепит? Что захочется переслать? В какой момент почувствуешь «это про меня»? Что заставит поверить даже без строгих доказательств? Отвечай отдельно по каждому углу. Если мнения расходятся – это нормально, укажи где именно. Почему это важно: Обычный запрос «оцени убедительность» заставляет модель работать как редактор (её обучение на академических текстах). Конкретный портрет читателя заставляет LLM симулировать человеческое восприятие — смещение уменьшается, хотя полностью не исчезает. Расхождение между двумя ответами показывает, где живёт эмоциональная сила вашего текста. Осторожно: даже с такой инструкцией LLM не станет точным предсказателем виральности (корреляция остаётся низкой). Но вы хотя бы увидите разрыв и перестанете доверять единственной оценке. И помните: если три модели согласились между собой — это говорит лишь о том, что они похожи друг на друга, а не о том, что так подумают люди. arXiv: 2604.06820