Хочется поделиться необычной ошибкой. Одна из задач от бизнеса звучала - повысить качество модели PD(probability default) с целью снижения дебиторской задолженности в продукте микрокредитования под узкие цели. Цель есть, задача понятна - бери и делай!

Команда сильная и без проблем справилась с задачкой. Без особых сложностей собрали модель, получили существенные приросты в модельной метрике(ROCAUC - 0.96 против 0.89 на старой моделе), получили значимое влияние на сокращение ДЗ в рамках пилота, казалось бы следующий этап - выкатывай в прод! Take Profit - +1 решенная проблема

Но есть один нюанс... Помимо важного показателя накопленной ДЗ в рамках "продающего продукта" всплывает важный вопрос а какого же влияние на GM? Не вдаваясь в детали учёта GM и формирования тела долга посмотрим на итоговые цифры - ДЗ на пилотной группе сократилось более чем на 15%✓! Но вместе с тем наблюдается падение GM и получаем усадку от плановых показателей на 2%. Как итог - модель шикарная, эффективность высокая, но работа все равно в стол, т.к. особенность учёта KPI инвертирует весь положительный эффект.

Делитесь - были ли в ваших кейсах подобные фейлы и на чьей стороне ответственность за подобные ошибки?