ИИ исследовало ИИ, лучшая цитата оказалась из треда про нянь
В одном из отчётов была отличная цитата. Живой человек, живыми словами: перестал доверять собственному суждению после того, как рядом появился ИИ. Именно то, что я искал. Я перешёл по ссылке. Она вела в тред на Reddit о работе няней в чужой семье за границей. Ни ИИ, ни решений. Просто где-то там нашлась похожая фраза.
Вводная. Я делаю тренажёр принятия решений и хотел проверить гипотезу: чем больше данных даёт ИИ, тем меньше человек доверяет собственному суждению.
Акт 1. Проверять сел не сам — запустил девять глубоких исследований разными ИИ-агентами. На выходе сотни страниц и сотни ссылок. Одна из них — та самая, про нянь.
Акт 2. Перед вторым заходом написал жёсткие правила: каждое утверждение со ссылкой, числа ровно как в источнике, соцсети не считаются. Правила помогли, но не спасли.
Разбираем, что ломалось. — Числа. Выборка 294 человека, в отчёте «более 350». Агент прочитал степени свободы как количество людей. — Авторство. Ключевая работа приписана не тем людям. Проверяется за минуту, если открыть. — Источники. Instagram, конспекты студента-фармацевта и, отдельным украшением, форум охотников. — Вишенка на торте. В задании я привёл примеры фраз, которые стоит поискать. Одну из них агент вернул мне как найденную цитату — со ссылкой на моё же задание. Часть «находок» — это эхо вопроса. Инструмент возвращает вашу же формулировку, слегка причесав, и она звучит как подтверждение. Довольно удобно (для ИИ, конечно).
Акт 3. ИИ здесь, конечно, не злодей (особенно когда спит зубами к стенке). Проверял я тоже с ИИ, и это заняло часы вместо недель. Было и полезное: направления агенты нашли хорошо — три вещи, которые я бы не раскопал. Ну или раскопал, но через неделю.
Разница не в инструменте. Разница в том, открыл ли кто-нибудь первоисточник. Ключевое слово — «кто-нибудь». Верификация тоже может быть ИИ, лишь бы не тем же, который писал. Вывод, к которому я пришёл: отчёт ИИ — это карта, где искать, а не источник фактов.
Что с этим делать в понедельник (на самом деле уже сегодня — бросаем всё и идём делать): — Свой ответ — до запроса. Одна строка: что я думаю и почему. Без неё вам не с чем сравнивать. — Ссылку — открывать. Не всё, а несущее: три-четыре утверждения, на которых держится решение (чтобы не получилось, что обои были несущими). — Смотреть на список доменов. Соцсети и конспекты среди источников — диагноз за пять секунд (честно, лень всё открывать). — Помнить свой запрос. Находка дословно повторяет ваш пример — это эхо, а не поле (иначе ИИ заболтает до лимитов). — Отделять «не нашёл» от «нет». Пустота на месте доказательства — пустота, а не подтверждение (дайте ИИ возможность сказать «нет»).
А вы открываете ссылки из отчётов ИИ — сами или поручаете другому ИИ? Что там находили?