Метрики без шума

Алерт — это не график, который стал красным. Это событие, требующее немедленного действия. Если после уведомления никто не знает, что делать в первые минуты, перед вами не мониторинг, а генератор фонового шума.

В Prometheus или VictoriaMetrics оставляйте только сигналы с понятным runbook:

• закончились conntrack-таблицы;
• сломался маршрут или появился BGP leak;
• MTU/MSS режет TCP-сессии;
• DNS уперся в ndots:5 и задержки резолвинга.

Детектив сбоя часто выглядит так: Grafana показывает нормальные CPU и память, packet loss равен нулю, а пользователи получают таймауты. Причина сидит в ядре. Смотрите nfconntrackcount и nfconntrackmax, ss -s, retransmits и RST в tcpdump. Метрика объясняет симптом, счетчик ядра показывает улику.

Один алерт должен запускать одно немедленное действие. Все остальные показатели оставляйте на графиках и используйте для расследования, а не для тревоги. Так строится наблюдаемость без поклонения вендорскому хайпу и облачной наценке. Практи...