Привычное перестают проверять

Автор, специализирующийся на проектировании формальных баз знаний для ИИ-систем, указывает ещё на одну опасность управляемого слоя правил, на который такая система опирается: если эту структуру не поддерживать так же активно, как поддерживают рабочий программный код, она не остаётся неизменной — она незаметно «протухает», и это труднее заметить, чем постепенный дрейф самой модели, именно потому что никто не ожидает, что подвести может как раз та часть системы, которая должна была быть «твёрдой» и надёжной.

О похожем эффекте, но уже в собственной практике, пишет программист, годами работающий с одним и тем же кодом на устаревающей платформе: архитектурные решения, принятые много лет назад и с тех пор ни разу не пересмотренные — просто потому что приложение «работало достаточно хорошо», — остаются непроверенными не потому, что они скрыты, а потому что стали слишком привычными, чтобы вообще восприниматься как решение, которое можно поставить под вопрос. «Я не могу усомниться в архитектурном допущении, если оно стало настолько привычным, что я больше не вижу в нём решение», — формулирует он это сам.

В одном случае речь о формальной структуре, обслуживающей ИИ-систему, в другом — о личной привычке практика, но точка отказа одна и та же: то, что уже считается устоявшимся и решённым — архитектурная схема, база правил, годами не пересматриваемый паттерн, — именно поэтому перестаёт активно проверяться, и там же дольше всего может скрываться незамеченная ошибка или устаревшее допущение.