LLM и иллюзия данных.

Почему красивая панель заставляет модель гадать там, где это невозможно? **Ключевая проблема:** LLM-агенты могут игнорировать собственное знание о непредсказуемости вопроса, если им показывают профессионально оформленные данные. Модель реагирует на *форму*, а не на *содержание* — даже если все цифры на панели полностью выдуманы.

Суть метода

Модель внутренне знает, что некоторые вещи (движение акций через 10 дней, исход матча) предсказать нельзя — в 90% случаев на прямой вопрос она честно отвечает «не знаю». Но если добавить красивую таблицу с RSI, MACD и графиками, доля уверенных прогнозов взлетает до 54% — и почти не падает, даже если все данные подделаны. Техника **«спроси о познаваемости до показа данных»** фиксирует правильное суждение модели в тот момент, когда её ещё ничто не отвлекает, и не даёт ему «сломаться» под влиянием авторитетного оформления.

Алгоритм работы (2 шага)

**Шаг 1.** До предоставления любых данных спроси модель: «Познаваем ли этот вопрос в принципе?» Попроси строгий ответ: `ПОЗНАВАЕМО` или `НЕПОЗНАВАЕМО` с кратким пояснением. **Шаг 2А.** Если `НЕПОЗНАВАЕМО` — не показывай данные для прогноза. Попроси модель честно объяснить, почему даже при наличии данных уверенный ответ невозможен. **Шаг 2Б.** Если `ПОЗНАВАЕМО` — покажи данные и попроси развёрнутое рассуждение, а не просто цифру. **Критическое условие:** всегда оставляй место для рассуждения. Жёсткий формат ответа (только число или JSON) ломает технику — модель начинает ошибаться в 100% случаев.

Сквозной пример

**Задача:** вы просите ChatGPT предсказать движение биткоина через неделю и прикладываете график с RSI, MACD и объёмами. **Наивный промпт (провал):** > «Судя по этому графику (RSI 58, MACD растёт, объём выше среднего), вырастет ли биткоин на следующей неделе? Дай вероятность.» Модель выдаст уверенную цифру вроде «65%» — просто потому что данные выглядят убедительно, хотя реальной предсказательной силы у них нет. **Правильный промпт:** ``` Шаг 1. Прежде чем смотреть на любые данные – ответь честно: можно ли в принципе предсказать движение цены биткоина за 7 дней точнее случайного угадывания? Учти природу краткосрочных колебаний. Ответь ПОЗНАВАЕМО или НЕПОЗНАВАЕМО и объясни почему. [после ответа модели] Шаг 2. Вот данные: RSI 58, MACD растёт, объём выше среднего. Если ты сказал НЕПОЗНАВАЕМО – не давай числовую вероятность, а объясни, почему эти данные не меняют вывод. Если ПОЗНАВАЕМО – дай развёрнутый ответ с объяснением. ``` Результат: на Шаге 1 модель почти всегда признаёт непредсказуемость. На Шаге 2, если напомнить ей про предыдущий вывод, она откажется от уверенного прогноза — суждение зафиксировано раньше, чем сработала «седакция» от оформления.

Шаблон для копирования

``` ШАГ 1 – Оценка познаваемости Прежде чем смотреть на любые данные, ответь честно: можно ли вопрос «{{ваш вопрос}}» предсказать точнее, чем случайное угадывание? Учти природу события – краткосрочные движения цены, спортивные матчи, погода на много дней вперёд обычно непредсказуемы, даже если выглядят анализируемыми. Ответь строго: ПОЗНАВАЕМО или НЕПОЗНАВАЕМО, и в двух предложениях объясни почему. ШАГ 2 – Работа с данными (только если ПОЗНАВАЕМО) Вот данные: {{данные, график, контекст}} Дай развёрнутый ответ с рассуждением – объясни, на что конкретно в данных ты опираешься, а не только итоговую цифру. Если на шаге 1 ты ответил НЕПОЗНАВАЕМО – не меняй вывод под влиянием данных из шага 2. Честно скажи, что уверенный прогноз здесь невозможен, даже если данные выглядят убедительно. ```

Границы применимости

**Когда работает:** задачи, где неопределённость объективно высока (финансовые прогнозы, спортивные исходы, погода, социальные тренды). **Когда бесполезно:** задачи с детерминированным ответом (математика, кодинг, фактологические запросы). **Когда вредно:** если вы перебарщиваете с «честностью» в творческих задачах — модель может начать отказываться от разумных оценок там, где они уместны.

Продолжение в комментарии.