Проверка растёт вместе с ценой ошибки

Когда производство ответа кода, текста, рекомендации стало почти бесплатным, тонким местом перестало быть письмо. Узкое место просто переместилось. Туда, где раньше писали, теперь читают, решают и понимают, и делают это те же люди, что и раньше, с теми же часами в сутках.

Вопрос, который стоит задавать себе перед тем, как отправить результат в работу, не «написал ли ты это сам или получил от модели», а «можешь ли объяснить, отстоять и нести ответственность за последствия». Глубина, с которой нужно разбираться в решении, не должна быть одинаковой для всего подряд. Она должна расти вместе с ценой ошибки. Черновик или демо можно почти не проверять: цена ошибки низкая. Решение, которое касается клиента или производственной системы, требует другого уровня понимания, и спросить у самой модели, уверена ли она в своём ответе, не даёт никакой независимой проверки. Это тот же источник, спрошенный дважды.

Свобода действия должна соответствовать этому же принципу: ограниченное и обратимое действие может обойтись большей автоматизацией, а решение, которое необратимо или касается кого-то другого, требует отдельных механизмов контроля. Кто-то должен по-прежнему нести ответственность за то, что было одобрено.

Практическая опасность в том, что старый стандарт инженерной работы можно теперь не выполнить, даже не заметив этого. Результат проходит все автоматические проверки, выглядит корректно и уверенно, и при этом никто в команде не может объяснить, почему было принято именно такое решение. До тех пор, пока что-то не сломается.