Специалист по архитектуре систем управления знаниями, отстаивающий подход, при котором над генеративной моделью работает более жёсткий, формально управляемый слой правил и связей между понятиями, честно разбирает пределы собственного метода. Его главный тезис: такой управляемый слой не устраняет ошибки генеративной модели — он их смягчает, и путать одно с другим означает выдавать инженерное решение за волшебное. Хуже того: сами правила и ограничения этого управляемого слоя создаются не абстрактной логикой, а конкретными, ошибающимися людьми — а всё чаще черновики этих правил составляет тот же ИИ, а человек лишь утверждает их подписью. На каждом шаге этой цепочки может закрасться ошибка, которая затем воспринимается как истина просто потому, что пришла «от управляемой системы».

Похожая ловушка обнаруживается в оборонном ведомстве одной из крупных стран, где предложена (финансирование пока не утверждено законодателями) система ИИ-детекции лжи стоимостью около 30,3 миллиона долларов на пять лет — развитие технологии, применяемой уже около ста лет (классический полиграф измеряет давление, дыхание, пульс, потоотделение), теперь дополненной бесконтактными сенсорами вроде камер и тепловизоров, способными анализировать сразу несколько физиологических сигналов одновременно. Ещё в 2003 году независимая экспертная научная комиссия пришла к выводу, что точности классического полиграфа недостаточно, чтобы полагаться на него при проверке благонадёжности сотрудников, — а обнаружение изменения физиологического состояния и обнаружение самой лжи остаются разными вещами. Отдельная, более тонкая проблема — в происхождении данных, на которых обучается такая система: если метками для обучения служат прошлые заключения экзаменаторов-людей, алгоритм скорее выучит закономерности их суждений, чем независимо подтверждённый факт обмана. Уверенный на вид показатель точности мало что говорит о реальной работе системы без независимо проверенной истины, с которой его можно сверить.

В обоих случаях система выглядит объективной или детерминированной именно потому, что заключена в формальную, управляемую оболочку, — но обучена или регулируется на основе более ранних, непроверенных решений людей, которые никто не пересматривал. Она не создаёт истину заново — она наследует чужую ошибку и подаёт её с большей уверенностью, чем та заслуживает, просто потому что теперь эта ошибка проходит через «систему».