**Суть метода** **AuditForecast** трансформирует прогнозирование LLM из «нарративного гадания» в аудируемый математический процесс. Вместо того чтобы собирать факты и выдавать вероятность «на глаз», агент разделяет задачу на два компонента: расчет базовой вероятности (p0) через количественную модель и механическое применение поправок (множителей шансов) для ситуативных факторов, не учтенных в этой модели. **Как это работает (алгоритм)** 1. **База (p0):** Агент определяет, применима ли количественная модель (например, логнормальное распределение для акций). Через веб-поиск собирает входные данные и вычисляет p0 с помощью code interpreter. 2. **Поиск факторов:** Агент ищет факторы, *не закодированные* в p0. Проводит строгую проверку на независимость (чтобы избежать двойного счета) и находит доказательства через поиск. 3. **Агрегация в пространстве шансов:** Каждому фактору присваивается множитель (Likelihood Ratio, LR): >1 повышает вероятность, <1 понижает, =1 нейтрален. Итог считается механически: `Odds_final = (p0 / (1 - p0)) * LR1 * ... * LRn` `P_final = Odds_final / (1 + Odds_final)` **Пример применения (Кейс)** *Вопрос:* Закроются ли акции Apple (AAPL) выше $300 19 мая? - **База:** Модель логнормального распределения без дрейфа. Цена $296.71, волатильность 1.53%/день. Python-расчет дает p0 = 0.236 (шансы 0.308). - **Фактор 1:** Слабые фьючерсы на индексы (не учтено в базе). LR = 0.85. - **Фактор 2:** Недавние неудачные попытки удержаться выше $300 (сопротивление). LR = 0.78. - **Фактор 3:** Сильный отчет и байбэк на $100B (фундаментальная поддержка). LR = 1.12. - **Итог:** Шансы = 0.308 * 0.85 * 0.78 * 1.12 = 0.229. Итоговая вероятность P = 0.229 / (1 + 0.229) = 0.19. **Шаблон промпта для агента** ```text Ты — аналитик вероятностных прогнозов с доступом к веб-поиску и выполнению кода. Вопрос: "{вопрос}" Критерии разрешения: "{правила}" Выполни прогноз строго по шагам: 1. БАЗОВАЯ ВЕРОЯТНОСТЬ (p0): Выбери количественную модель. Укажи метод, входные данные и допущения. Вычисли p0 через код. 2. ФАКТОРЫ: Найди 1-3 фактора, НЕ учтенных в p0. Для каждого укажи: название, почему это не учтено в p0, доказательства из поиска, множитель шансов (LR: >1 за YES, <1 за NO, 1 нейтрально). 3. АГРЕГАЦИЯ: Вычисли итоговые шансы: Odds = (p0/(1-p0)) * LR1 * ... * LRn. Итоговая вероятность P = Odds / (1 + Odds). Используй код для арифметической точности. Верни результат в формате JSON. ``` **Границы применимости** - **Полезен:** Для бинарных событий с четкими критериями разрешения (финансы, спорт, рынки прогнозов), где есть исторические данные или математическая основа для расчета p0. - **Бесполезен/Вреден:** Для абстрактных, качественных или хаотичных событий без прецедентов, где невозможна оценка p0. Метод критически зависит от наличия у агента инструментов веб-поиска и code interpreter. **Ключевые выводы из экспериментов** - **Точность:** AuditForecast стабильно улучшает Brier score (ошибку прогноза) по сравнению с базовыми агентами (Think&Search) и превосходит рыночные ожидания на Polymarket и Kalshi. - **Эффективность:** Требует **в 2 раза меньше веб-поисков** (11.7 против 23.9), так как поиск целенаправленный (model-guided), а не хаотичный. - **Экономика:** Превосходит дорогие deep-research агенты (o3, o4-mini) по соотношению цена/точность, оставаясь Pareto-доминантным. - **Механика:** Агрегация в пространстве шансов работает достоверно лучше, чем простое сложение вероятностей или нарративная агрегация, предотвращая выход значений за пределы [0, 1]. Исследование https://arxiv.org/html/2609.05905v1 Поддержать проект донатом: Сбер 2202 2084 9881 5282. Заранее спасибо.