Observability без шума
Миф о надежном мониторинге простой: чем больше алертов, тем лучше контроль. На практике сотни уведомлений скрывают аварию среди вторичных симптомов. Алерт должен означать одно: оператору нужно действовать сейчас.
Если растет latency, не начинайте с перезапуска сервиса. Проверьте conntrack и дропы на интерфейсах, MTU и MSS, TIME_WAIT, ошибки DNS с ndots:5. Grafana показывает следствие, а ядро часто хранит причину.
В Prometheus и VictoriaMetrics оставляйте сигналы, привязанные к последствиям для пользователя и понятному runbook. Один точный алерт лучше десятка предупреждений, которые никто не открывает.
Наблюдаемость измеряется не количеством панелей, а скоростью перехода от сигнала к исправлению.
#ftops #devops #linux #freebsd #sre #инфраструктура https://ftops.space
· 19.10
Как то решили мы что нам нужен traceability давно было.. 2019... Azure сказал нам что кушать больше 600 гигов логов в день ему тяжко :) Хотя я работал с данными телеметрии где 5 секунд очищенных данных, не raw) это в районе полутора гигов логов.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён