🚨 20 графиков в Grafana и всё равно неясно, что сломалось

❌ Типичная ситуация:

На проде растут задержки. Открываем дашборд:

• CPU, RAM, RPS — в норме

• latency вырос, но «не критично»

→ 30–40 минут анализа без ясности.

🐛 Что на самом деле?

Один endpoint начал тормозить → создал очередь → очередь разогнала latency по всей системе.

🔍 Почему не заметили?

Не было:

• разбивки по endpoint’ам

• 95/99 перцентилей (только средние)

• метрик очередей

• алертов на деградацию

✅ Что помогло?

Добавили:

• метрики на каждый endpoint

• p95 / p99

• queue depth

• ошибки по статусам ответов

📌 Вывод

Дашборд должен отвечать на три вопроса:

1. Система здорова?

2. Где именно проблема?

3. Что деградирует?

Если нет ответа хоть на один — Grafana работает не на решение проблем, а на красоту.

🚨 20 графиков в Grafana и всё равно неясно, что сломалось | Сетка — социальная сеть от hh.ru