Модель с accuracy 99% может пропустить весь брак
Допустим, среди 1000 деталей есть 990 исправных и 10 бракованных. Модель выбирает самый ленивый ответ: объявляет исправными все. Формально accuracy равна 99% — угадано 990 случаев. Но ни один дефект не найден.
Это ловушка несбалансированных классов: редкое, но важное событие теряется за массой обычных. Поэтому при поиске спама, мошенничества или брака мало знать общую долю верных ответов. Нужно отдельно смотреть, сколько редких случаев модель обнаружила — это полнота, — и сколько её тревог оказались верными.
Высокая accuracy без этих проверок бывает красивой, но бесполезной цифрой.
