Думай До того, как Доверять Данным

Нейросети уверенно и красиво врут без малейших угрызений совести, поскольку у них просто нет другого режима. Языковая модель не ищет правду, она лишь предсказывает следующее слово.  Аналитик потратил три часа на декомпозицию требований из сгенерированного текста. На ревью выяснилось, что половина бизнес-правил выдумана, а две user story противоречат друг другу. А задача уже в спринте? Разберемся, как избежать подобного. Надежнее сразу выстроить грамотную систему проверки. Я называл такой подход методом 4Д.Чек-лист для проверки ИИ: метод 4Д

✅ Д1. Доказательство Нейросеть помогла собрать AS-IS процесс и нарисовала схему с узкими местами. Выглядит красиво и убедительно, но нужно всегда спрашивать себя об источнике данных и почему конкретный шаг назван проблемой. Модель ничего не знает, если не может объяснить свою логику, и просто заполняет пробелы правдоподобным текстом. Стоит добавлять в запросы просьбу объяснить ход рассуждений или показать шаги. Такая цепочка размышлений вынудит алгоритм раскрыть логику, и ошибки станут видны задолго до того, как их заметит заказчик на демо. Также лучше не просить ссылки на источники. Нейросеть генерирует их так же правдоподобно, как и обычный текст, поэтому они часто ведут в никуда. Факты нужно проверять напрямую без опоры на случайные URL.

✅ Д2. Дозированная проверка Вычитывать весь текст бессмысленно, иначе теряется польза от автоматизации. При этом полное доверие гарантирует вам работу в пятницу вечером. Отлично работает выборочная сверка. Берешь несколько конкретных утверждений из ответа, будь то бизнес-правило, системное ограничение или цифра, и вручную проверяешь их по исходнику или у стейкхолдера. Если половина из них поплыла, остальное придется смотреть под микроскопом.

Просить алгоритм подтвердить достоверность своего же ответа тоже бессмысленно. Модель скажет о высокой степени уверенности, но она совершенно не понимает границ своих знаний, чем немного напоминает некоторых заказчиков. Есть полезный трюк: задай тот же вопрос в новом чистом диалоге. При кардинальном расхождении ответов доверять результату нельзя до ручной проверки.

✅ Д3. Диагностика Прежде чем отдавать на анализ реальные требования, скормите нейросети знакомый наизусть фрагмент и посмотрите на результат. Для помощи со структурой бизнес-требований предложите раздел, написанный вами лично. Для резюме по итогам интервью дайте кусок транскрипта, который сами внимательно слушали. Когда модель теряет детали на знакомом материале, на незнакомом результат окажется еще хуже.

Старайтесь загружать собственные документы вместо надежды на встроенную память нейросети. Актуальные технические регламенты, свежие спецификации требований или протоколы груминга в ней точно не лежат. Лучше загрузить нужный файл и попросить отвечать строго по нему, чтобы модель честно призналась в отсутствии нужного ответа.

✅ Д4. Доверие интуиции Вас должен насторожить слишком гладкий ответ, где требования расписаны без противоречий, учтены все граничные случаи, а бизнес-правила абсолютно стройные. Реальные проекты так не работают, в них постоянно встречаются белые пятна, конфликты отделов и расплывчатые формулировки.

Причесанный документ без единого уточняющего вопроса почти наверняка означает, что алгоритм додумал детали за стейкхолдера. Нейросети не умеют сомневаться и всегда выдают связный текст в силу своей архитектуры. Задавать уточняющие вопросы и искать несостыковки придется вам.

Хорошо работает просьба выступить в роли сурового критика и найти слабые места в получившемся ответе. Алгоритмы неожиданно хорошо справляются с критикой текстов, поэтому стоит пользоваться такой возможностью. Обязательно прислушивайтесь к профессиональному чутью, ведь нейросеть годится только для создания черновиков, а финальным аналитиком остаетесь вы.

Расскажите в комментариях о ваших способах проверки ответов. Возможно, вы уже сталкивались с выдуманными данными, и ваш опыт поможет другим 👇

#навыкАналитика #it #нейросети #ИИ

Ваш Аналитик на Балтике 🌊