Скрытая проблема LLM в групповых рекомендациях.
Суть: Когда вы просите AI выбрать ресторан, фильм или маршрут для двух людей с разными вкусами, модель молча принимает ещё одно решение: как балансировать интересы. Максимизировать общую радость? Или не допустить, чтобы кто-то остался сильно недоволен? Модель выбирает сама, не сообщая вам об этом. И главное — выбор непредсказуем: одна и та же модель при повторном запросе может применить разные принципы. Как это работает (и почему проблема вообще существует) LLM отлично умеют считать баланс, если им прямо сказать, какой принцип использовать. Исследование подтвердило: все три протестированные модели безошибочно применяют любой конкретно названный критерий. Проблема в другом: когда вы не уточняете, кто отвечает за выбор принципа, модель: не признаёт, что выбор вообще был сделан; выдаёт результат так, будто он единственно верный; в 93–98% случаев не спрашивает вашего мнения.
Три режима поведения (и что с ними делать) Режим 1. Без указания Инструкция: «Советуй ресторан» (или любая другая задача без упоминания балансировки). Поведение модели: сама выбирает принцип агрегации → сразу выдаёт готовый ответ, не предупреждая, что выбор принципа вообще произошёл. Режим 2. Оставляю право за собой Инструкция: «Не решай за меня, спроси, если есть разные разумные способы». Поведение: модель почти всегда (в подавляющем большинстве случаев) останавливается и уточняет, какой принцип вы предпочитаете, вместо того чтобы дать финальный ответ. Режим 3. Делегирую (без указания принципа) Инструкция: «Решай сам, как сбалансировать интересы». Поведение: модель всегда выдаёт готовый ответ, но какой именно принцип она применит — непредсказуемо (зависит от модели и даже от повторного запроса с тем же текстом). Режим 3+. Делегирую (с явным принципом) Инструкция: «Максимизируй общую сумму оценок» или «Защити самого недовольного участника». Поведение: результат предсказуем — модель строго следует названному критерию. Рычаг управления — как переключатель: фраза «не решай за меня» мгновенно переключает модель в режим уточнения. Фраза «решай сам» — в режим выдачи готового ответа.
Сквозной пример Задача: Вы с партнёром выбираете ресторан в Москве. Ваши оценки (0–10): Вы: Тайский бар – 9, Итальянская – 6, Грузинская – 4, Суши-бар – 8, Стейк-хаус – 3 Партнёр: Тайский бар – 2, Итальянская – 8, Грузинская – 9, Суши-бар – 5, Стейк-хаус – 7 Вариант А (безопасный) — вы оставляете выбор за собой: Не решай сам, как балансировать наши интересы. Если разные разумные способы взвешивания ведут к разным вариантам, спроси меня. → Модель заметит, что максимизация суммы и защита недовольного указывают на разные рестораны, и явно спросит, какой принцип вам важнее.
Вариант Б (делегируете) — вы доверяете модели: Выбери разумный способ сбалансировать интересы, дай рекомендацию и коротко объясни принцип. → Модель выдаст готовый ответ. Но какой принцип выберет — лотерея. При повторном запросе с тем же текстом ответ может измениться.
Вариант В (контролируемый) — вы называете принцип: Максимизируй общую удовлетворённость (сумму оценок) и объясни, почему это решение оптимально. → Результат предсказуем.
Готовый шаблон для копирования: Вот наши предпочтения по вариантам {список_вариантов} (оценка по шкале {шкала}): {участник_1}: {оценки_1} {участник_2}: {оценки_2} Выбери один из вариантов: А) Оставляю выбор за собой – не решай сам, как балансировать наши интересы. Если разные разумные способы взвешивания приводят к разным вариантам, сначала спроси меня. Б) Делегирую тебе – выбери разумный способ сбалансировать наши интересы, дай рекомендацию и коротко объясни принцип, который ты использовал (например: максимизировать общую удовлетворённость ИЛИ не допустить, чтобы кто-то остался сильно недоволен).
Продолжение в комментарии.
· 30.08
Ключевые выводы из экспериментов 93–98% случаев — модель выдаёт готовый ответ без предупреждения, если не уточнять, кто принимает решение.
Все три модели (GPT-5.6 Sol, Claude Sonnet 5, Qwen 3.6 Plus) безошибочно применяют любой прямо названный принцип.
Непредсказуемость сохраняется даже при делегировании: если не назвать принцип, результат зависит от модели и может меняться при повторных одинаковых запросах.
Когда метод полезен, а когда нет Полезен, когда: вы принимаете групповое решение с разными предпочтениями; важно, чтобы все участники были услышаны; вы хотите осознанно выбрать принцип справедливости (а не получить его случайно).
Бесполезен или вреден, когда: предпочтения выражены расплывчато текстом, а не числами (исследование проверялось на чистых числовых профилях); вы принимаете решение, где цена ошибки высока (деньги, ресурсы, здоровье) — называйте принцип явно; вы ожидаете, что исследование подскажет «правильный» принцип балансировки (оно только говорит, что молчаливый выбор непредсказуем).
Исследование: 2608.23966 Поддержать проект донатом: Сбер 2202 2084 9881 5282. Заранее спасибо.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён