Observability: метрики без шума

Многие команды гордятся тем, что у них сотня алертов на дашборде. На деле это означает, что их никто не читает. Как только красное появляется каждую ночь без последствий, мозг выключает сигнал, и в ту самую минуту, когда ляжет база, дежурный проглотит уведомление наравне с остальными.

Prometheus и VictoriaMetrics не виноваты. Проблема в том, что алерт пишут там, где удобно смотреть метрику, а не там, где ломается бизнес. Порог cpu > 90% на фоновой ноде шумит неделю, а отсутствие роста rate(httprequeststotal{code=~5..}) в проде тонет в этом шуме. Графана с двадцатью панелями не спасает, она создаёт иллюзию контроля.

Практическое правило: каждый алерт обязан проходить тест «и что я делаю прямо сейчас?». Если ответа нет, это не алерт, а метрика в дашборде. Инцидент это when, then, runbook: зафиксированное время реакции, ответственный и шаг, который реально чинит систему. Всё остальное dashboard decoration.

Инженерная зрелость измеряется не количест...