Observability: метрики без шума
Многие команды гордятся тем, что у них сотня алертов на дашборде. На деле это означает, что их никто не читает. Как только красное появляется каждую ночь без последствий, мозг выключает сигнал, и в ту самую минуту, когда ляжет база, дежурный проглотит уведомление наравне с остальными.
Prometheus и VictoriaMetrics не виноваты. Проблема в том, что алерт пишут там, где удобно смотреть метрику, а не там, где ломается бизнес. Порог cpu > 90% на фоновой ноде шумит неделю, а отсутствие роста rate(httprequeststotal{code=~5..}) в проде тонет в этом шуме. Графана с двадцатью панелями не спасает, она создаёт иллюзию контроля.
Практическое правило: каждый алерт обязан проходить тест «и что я делаю прямо сейчас?». Если ответа нет, это не алерт, а метрика в дашборде. Инцидент это when, then, runbook: зафиксированное время реакции, ответственный и шаг, который реально чинит систему. Всё остальное dashboard decoration.
Инженерная зрелость измеряется не количеством графиков, а тем, сколько алертов осталось после чистки. VictoriaMetrics хранит годы истории дёшево, но доверие дежурных не масштабируется. Лучше три алерта, по которым бегут в три ночи, чем тридцать, которые никто не открывает.
