Однажды в команде решили ввести метрику: количество багов, заведенных каждым тестировщиком. А потом еще и привязать к ней премию.

Кажется, все логично? Чем больше багов нашел, тем лучше работает.

Но довольно быстро стало понятно, к чему это ведет. Началась настоящая фабрика по производству багов. 😅 Люди стали стараться завести побольше дефектов, чтобы не отставать от коллег и не выглядеть хуже на фоне цифр.

Я отговорила руководство от этой идеи. Потому что метрика, выбранная без понимания цели, может не просто оказаться бесполезной - она способна испортить работу команды.

Мой подход: сначала цель, потом метрики.

Прежде чем что-то измерять, я задаю себе вопрос: какое решение я хочу принять на основании этих данных?

Например, мне нужно было разобраться с качеством тестирования и понять, почему баги попадают на прод.

Я не стала считать, сколько дефектов поймал каждый тестировщик. Вместо этого посмотрела на другую статистику: - сколько багов завел заказчик; - сколько из них мы должны были обнаружить при прохождении тест-кейсов; - сколько возникло из-за отступлений от предусмотренных шагов; - сколько относилось к функциональности, которую вообще не договаривались проверять.

Так стало понятно, где именно есть проблемы и над чем нужно работать. Фокус сместился с личного счета багов на снижение количества конкретных ошибок.

Как я реагирую на предложения ввести новые метрики?

Сначала выясняю, что именно хочет понять заказчик или руководство. Потом проверяю, действительно ли предложенный показатель поможет получить ответ. Если нет - предлагаю другой способ измерения.

Например, если хотим оценить качество работы команды, можно смотреть не на количество написанных тест-кейсов, а на возвраты с приемки.

Потому что при подсчете багов есть риск получить много багов ради количества. А вот анализ возвратов помогает увидеть реальные проблемы и работать над их устранением.

И еще один случай из практики. Были тестировщики, которые проходили тест-кейсы и ставили зеленый статус, даже не выполняя проверку. 😄

Для меня хорошая метрика - та, по которой можно принять полезное решение, а не просто получить красивую цифру.

И еще важно помнить: люди начинают работать на те показатели, по которым их оценивают. Поэтому прежде чем вводить метрику, стоит подумать не только о том, что она покажет, но и о том, какое поведение будет стимулировать.