Метрики, как цель — фатальная ошибка

Очередной мощный выпуск подкаста Бреслав и Ложечкин. Обсудили метрики в разработке — как не скатиться в цифробесие и зачем вообще всё это считать. Ниже — краткий обзор ключевых идей. Транскрибация и ссылка на выпуск — в конце.

Мне близка идея: метрика — это индикатор, а не цель. Пока она не становится самоцелью, она помогает задавать вопросы. Мы не ради цифр работаем. Мы зарабатываем деньги.

Из крутого в выпуске: – исторический подход: метрику лучше использовать как исследовательский инструмент — «померил, понял, забыл»  – не сообщай команде, что ты считаешь — делись только выводами  – метафора про управление метриками в инерционных системах:

Когда учишься управлять кораблём — яхтой или большим судном — первое, что говорят: не надо дёргать руль. Корабль тяжёлый, ты поворачиваешь руль — и ждёшь. Тогда он начинает менять курс.  Если думаешь, что всё работает как у автомобиля — повернул и сразу среагировал — начнёшь крутить сильнее, корабль перекрутит, и ты начнёшь вилять из стороны в сторону.  Мысль о том, что не надо дёргать руль, применима ко всем инерционным системам. А большая организация — это очень инерционная система. Видим, что метрика пошла вниз — дёрнули руль. Завтра не выросла — дёрнули ещё. Так делать не надо.  Есть запаздывание, и в большинстве случаев мы не знаем, насколько оно велико. Если ты опытный рулевой — знаешь, сколько ждать. А в организации часто даже не представляешь, когда начнётся движение.

Основные идеи выпуска:

Зачем вообще измерять Инженеры по природе любят считать. Но как только начинаешь это делать — быстро появляется искажение. Метрика перестаёт отражать реальность, особенно в деталях. Но без неё — вслепую. «Когда начинаешь мерить, все эти метрики, конечно, не отражают реальность в деталях… получится какая-то чушь, бюрократия…»

Метрика как ловушка: пример с шагами  Цель — 10 000 шагов в день. Всё вроде бы полезно. Но потом появляется тревога: часы снял — шаги не засчитались. Значит зря ходил? Так появляется рабство от цифры. «Стал на 100% рабом этой метрики… вот я сейчас зря буду ходить, что ли? И никто от этого не узнает».

Когда метрики вредны Две ситуации: не знаешь, зачем считаешь — или начинаешь гнаться за числом. Метрика превращается в KPI, и это ведёт к искажению процессов и карго-культу. «Не надо измерять, когда вы не знаете, зачем… если метрику ставить в цели, это очень часто плохо кончается».

Метрика — индикатор, а не KPI Цифры — не для премий. А для вопросов. Не «5% падение — снимаем головы», а «давайте разбираться». «Метрики нужно использовать как индикатор… повод начать разбираться, почему».

Хорошие и плохие инженерные метрики Полезно ловить аномалии: резкие падения числа коммитов, рост инцидентов, перегруз on-call. А строки кода и часы? Это не про эффективность. «Число срочек вообще никому нахрен не надо… но вот скачок в 10 раз — это повод посмотреть, что сломалось».

Story-пойнты: игра в оценку или самообман? Могут работать как тренажёр оценки. Но если делать из них метрику производительности — вся идея рушится. «Трудоемкость подсчета объективного story-пойнта примерно равна программированию этой задачи».

Ловушка сложных метрик Комбинировать цифры — заманчиво. Но как только формула становится сложной — её перестают понимать. И погрешности никто не считает. «Люди всерьёз обсуждали, как вырасти на 1%, при погрешности в 3%… и придумывали план исправления».

📎 Транскрибация  🎧 Слушать выпуск

Всех обнял 💜