Вы видели шамана с бубном над ChatGPT? Человек пишет один промпт, получает ответ — и кричит: «ИИ тупой!» Или: «Он всё понял!» Ни то, ни другое. Вы просто не поставили эксперимент.

Представьте физика, который измерил скорость света один раз и успокоился. Абсурд? Да. Но с нейросетями вы ведёте себя так же. Первый ответ — одна точка в вероятностном пространстве. Модель даёт случайную выборку. Без повторений вы не отличите сигнал от шума.

Решение — А/Б тестирование. То, что маркетологи делают с кнопками, вы делаете с промптами.

Как по-научному: 1. Возьмите два разных чата (или сбросьте контекст). 2. Сформулируйте задачу двумя способами, меняя одну переменную. 3. Сравните ответы. Лучший — повторите с новым изменением.

Почему работает? Нейросеть чувствительна к формулировкам — сместили слово, сместилось внимание. Без магии, просто линейная алгебра.

Пример. Нужно письмо с отказом в скидке.

❌ Промпт А: «Напиши вежливый отказ» → шаблон, который никто не дочитает.

✅ Промпт Б: «Ты менеджер по возражениям. Клиент просит скидку, но мы не можем её дать. Напиши письмо: 1) поблагодари, 2) причина отказа (себестоимость), 3) альтернатива: 5% на следующий заказ. Тон дружеский, но твёрдый.» → структура, аргумент, действие.

Сравните — Б победит в 90% случаев.

Но не верьте мне. Сделайте сами. Задача: «Объясни квантовую запутанность пятикласснику» против «Объясни через носки и коробки». Разница колоссальная.

Главное правило: меняйте только одну переменную за раз. Иначе не поймёте, что сработало. Контроль и чистота — база любого эксперимента.

Первый промпт — нулевая гипотеза. Её надо опровергать. Чем больше тестов, тем ближе к оптимуму. Со временем соберёте свою библиотеку удачных формулировок, как настоящий исследователь.

Вывод (по заветам Поппера): Не будьте шаманом — фальсифицируйте промпты с помощью А/Б тестирования, иначе никогда не узнаете реальные возможности ИИ.

Проверяете свои промпты или верите в единственное заклинание?