Баги обычно не исправляются сами сразу после их заведения, поэтому в регрессии какое-то время будет присутствовать падающий автотест. И их нужно как-то отличать от упавших на новых багах тестов. Есть несколько путей:

1⃣Оставить как есть. ➕ Тест своим красным свечением жжёт глаза и мотивирует команду быстрее исправлять баг. ➖ Человек привыкает ко всему. И к 200 падающим тестам из 8 тысяч тоже. Но кто знает, не новые ли это тесты упали взамен починенных, и точно ли их было 200.

2⃣ Отключение автотестов в коде. ➕ Зелёная регрессия. Каждая новая проблема будет замечена сразу же. ➖После исправления бага можно забыть включить тест. Также при нестабильности теста не будут получены данные о соотношении успешных прогонов и падений.

Что же выбрать? Лучше выбрать сразу всё)

✅ Моё решение - тест-сьюты. Я создал сьют для полного прогона вообще всех тестов и сьют для прогона всех тестов без падающих. Падающим тестам, при заведении бага по ним, я также добавляю группу, которую исключает из прогона второй сьют.

Реализовано на стеке TestNG и TeamCity.