Если вы ловили себя на мысли, что «мы здесь уже были», когда работаете с ИИ или LLM зацикливается вокруг схожих идей при генерации нескольких вариантов. Это не баг вашего промпта или LLM, а известный феномен под названием — mode collapse. В свежей работе Стэнфорда и Northeastern вы найдете, откуда он берётся и как его обходить.

Суть: модели после дообучения теряют разнообразие из-за людей-разметчиков. Когнитивная психология давно знает — мы предпочитаем привычное и типичное. Разметчики систематически выбирают более «ожидаемые» варианты, а модель учится этой предвзятости и в режиме генерации схлопывается к стереотипам. Просите пять шуток про кофе — получаете пять вариаций про «ограбленный мокко».

Лечение — Verbalized Sampling. Вместо запроса одного ответа просите распределение с вероятностями. Базовый промпт:

Сгенерируй 5 ответов в JSON со списком responses. Каждый с полями text и probability (0.0-1.0 относительно полного распределения). Сэмплируй случайно из полного распределения. Запрос: [ваш запрос]

Эффект из статьи: разнообразие растёт в 1,6-2,1 раза. Качество не падает. Безопасность не ломается. На топовых моделях (GPT-4.1, Claude 4, Gemini 2.5 Pro) прирост вдвое сильнее, чем на младших.

Когда применять: — модель упорно крутится вокруг одной идеи; — нужен брейншторм с широтой, а не глубиной; — нейминг, слоганы, заголовки и формулировки; — симуляция персонажей и диалогов; — синтетические данные для обучения; — креатив, где банальность убивает результат.

Когда не нужно: факты, код, перевод, суммаризация — там разнообразие вредит.

Хотите выкрутить на максимум — добавьте порог вероятности:

Сэмплируй из хвоста распределения — вероятность каждого ответа должна быть ниже 0.1.

Модель пойдёт в хвосты и достанет то, до чего обычный промпт никогда не доходит. Чем меньше порог (0.1 → 0.01), тем нестандартнее ответы.

Конкретный кейс для канала: вместо «придумай заголовок поста про X» → «придумай 5 заголовков для поста про X в JSON с text и probability, сэмплируй с probability < 0.1». Получите варианты, которых нет в обычной выдаче.

По сути — бесплатный апгрейд любой задачи, где важно не повторяться.

#ии #нейросеть #атвинта #искусственныйинтеллект #иидлябизнеса #автоматизация