Ночной пост, коллеги. Снова живу по времени Токио несколько дней.

В предыдущем посте я предложил рассматривать полевой опыт как своеобразную коллекцию пережитых исключений. Мы можем прочитать правило, но только столкновения с реальностью постепенно учат нас видеть границы его применимости.

И тут у меня возник следующий вопрос: а что происходит с этим механизмом обучения, когда между начинающим специалистом и задачей появляется ИИ?

Раньше профессиональное незнание обладало одним полезным свойством: оно довольно быстро становилось заметно самому специалисту. Представим себе начинающего бизнес-аналитика после интервью. Он открывает свои записи и пытается составить требования. И внезапно обнаруживает, что не понимает, чего именно хотел стейкхолдер. Здесь непонятен термин. Там два человека противоречат друг другу. Вот это вообще требование или предложенное решение? А для этого утверждения не хватает контекста. Перед человеком буквально лежат границы его собственного понимания. Чтобы продолжить работу, приходится задавать вопросы, возвращаться к источникам, советоваться с коллегами, иногда ошибаться и получать обратную связь. Это довольно неприятное, но полезное "профессиональное трение".

Теперь давайте добавим LLM. Можно загрузить тот же транскрипт и попросить выявить требования, структурировать их и оформить результат. Через несколько секунд перед нами будет аккуратный документ. Формулировки профессиональные, структура логичная, "пустот" нет.

И вот здесь возникает интересный эффект:

Исчезновение затруднения легко принять за исчезновение проблемы

Но модель могла превратить пожелание в требование, самостоятельно разрешить противоречие, выбрать одну из нескольких трактовок, достроить отсутствующую причинно-следственную связь или просто не заметить, что критичной информации во входных данных вообще нет. Главное отличие в другом: раньше незнание мешало получить результат. Теперь между незнанием и результатом появился инструмент, который великолепно умеет заполнять пробелы правдоподобием.

Поэтому я бы сформулировал эту проблему так:

ИИ способен сократить расстояние между незнанием и правдоподобным результатом быстрее, чем расстояние между незнанием и компетентностью

И это может создать довольно неприятную положительную обратную связь. Я передал задачу ИИ, получил хороший на вид артефакт, использовал его дальше и не увидел немедленной катастрофы. Значит, подход работает. Повторил десять раз - работает стабильно. Через какое-то время уже появляется собственный практический опыт успешного применения.

Но что именно я измерял? Получение артефакта или его соответствие предметной реальности?

Ошибка вполне могла проявиться позже. Ее мог исправить другой специалист. Разработчик мог самостоятельно задать недостающий вопрос и получить нужный ответ. Стейкхолдер мог уточнить требование на следующей встрече. А связь между первоначальным дефектом и его последствиями для меня при таких исходах вообще не возникла.

Обычно здесь появляется универсальный предохранитель: “результат ИИ нужно проверять”. Безусловно. Но проверка тоже является профессиональной задачей. Чтобы увидеть неправильную интерпретацию, нужно понимать, почему она неправильная. Чтобы обнаружить отсутствующее требование, нужно сначала предположить, что оно должно существовать. Чтобы заметить скрытое противоречие, нужно знать, где его искать.

Получается небольшой парадокс: чем меньше специалист способен самостоятельно выполнить переданную ИИ задачу, тем осторожнее стоит относиться к предположению, что он способен полноценно проверить результат.

Это не аргумент против ИИ и тем более не призыв заставлять джунов делать все вручную. Наоборот, с ИИ начинающий специалист способен производить больше и быстрее. Вопрос в другом: не убираем ли мы вместе с рутиной то самое полезное сопротивление задачи, через которое раньше становились видимыми границы собственного понимания?

Потому что рост производительности и рост компетентности - это все-таки не одна и та же шкала.