Конформное предсказание обещает: 90% ответов модели будут верными, даже если она плохо откалибрована. Мы проверили это как правило "когда звать человека" в скрининге сеньоров, на навыках, которых модель не видела.

Обещание выполнилось: покрытие 0,913, человеку уходит 4% интервью. А среди кандидатов, которых система продвинула сама, 15% оказались не сеньорами.

Покрытие набирают уверенные отказы, а ложные продвижения копятся рядом. Простой порог 0,9 по вероятности модели ни разу не нарушил гарантию и ошибался вдвое реже, правда, отдавал человеку каждое пятое интервью.

Таблицы по пяти сдвигам: https://iconicompany.com/ru/research/conformal-escalation-coverage-does-not-protect-promotions