Тестовая выборка может случайно подсказать модели ответ
Допустим, вы собрали фотографии деталей, сделали для каждой повороты, кропы и варианты яркости, а потом случайно разделили всю пачку на обучение и тест. В тесте могут оказаться почти близнецы кадров, которые модель уже видела. Метрика станет красивее, но проверит узнавание исходников, а не работу на новых данных.
Надёжный порядок обратный: сначала разделить исходные объекты или группы, затем создавать аугментации только внутри обучающей части. Если один предмет снят десять раз, все его снимки лучше держать в одном разбиении. Иначе экзамен незаметно превращается в повторение домашнего задания.
