Модель может распознавать не брак, а красную подложку 🔴
Допустим, все повреждённые детали в обучающей выборке снимали на красном коврике, а целые — на сером. Нейросеть не знает, что нас интересуют трещины. Она может выбрать более простой признак: цвет фона. Это называют shortcut learning — обучением по удобной подсказке.
Обычный тест иногда не замечает подвоха, если фотографии сделаны так же. Устройте подмену: положите целую деталь на красный фон, повреждённую — на серый, поменяйте свет или камеру. Если прогноз следует за обстановкой, модель выучила декорации. Лечится это разнообразными примерами, где фон и целевой признак не связаны.
Высокая точность ещё не доказывает, что ИИ смотрит туда, куда вы рассчитывали.
