Инцидент начался с роста latency в Grafana и паники SRE: «медленный хост». tcpdump показал шквальные повторные запросы к /api/v1/slow-endpoint. Traefik по умолчанию применяет retry middleware с maxRetries=3 и backoffStrategy=Exponential (min=50ms). При p99 ответа >800ms это превращается в лавину: каждый неудачный запрос порождает до 3 новых за <200ms. netstat -s --tcp выявил резкий рост retransmitted segments. ss -i показал сотни соединений в ESTABLISHED с огромным cwnd. Сервис, обрабатывающий запрос 1 потоком, получил 12K RPS вместо ожидаемых 4K — и упал от CPU starvation. Решение: отключить retries для slow-endpoint или установить circuit breaker через middleware. Или — перестать использовать HTTP как IPC. https://ftops.space/?utm*source=telegram&utm*medium=smm&utm*campaign=ftops&utm*content=traefik-ingress-retry-storms-kak-de

Инцидент начался с роста latency в Grafana и паники SRE: «медленный хост». tcpdump показал шквальные повторные запросы к /api/v1/slow-endpoint | Сетка — социальная сеть от hh.ru