Инцидент недели – Cloudflare не падал, он деградировал двадцать три раза

Cloudflare на прошлой неделе не упал ни разу. И деградировал 23 раза.

Половина всего, что мой сборщик снял с 13 статус-страниц: 23 инцидента из 46. Critical ни одного, а два Cloudflare и сам пометил как impact: none.

География сетевых: Индия, Чикаго, Мумбаи, Сингапур, Дубай, Финикс, Лос-Анджелес, APAC целиком. Индия — 3 часа 36 минут, Сингапур — 16 минут.

18 из 23 мой же сборщик выкинул ниже порога — короткие и локальные. Порог я ставил сам, и он оказался ровно таким же слепым, как чужой мониторинг.

Формально он прав: со стороны Cloudflare ничего не упало. Со стороны твоего пользователя из Мумбаи упал ты. Он не знает, что между вами стоит CDN. Видит твой домен и пишет в твою поддержку. А у тебя всё зелёное: синтетика ходит из одного региона, доступность посчитана средним по всем, и 14 минут в Мумбаи не поднимают ни один порог, потому что порога на них никто и не ставил.

Когда CDN деградирует в одном регионе, у тебя есть путь в обход — второй CDN, прямой origin, ручное переключение? Или регион отваливается, а ты узнаёшь про это из тикета?

Отвечу первым: никак.

Алертинга на моём контуре нет, про поломки мне приносят пользователи, а про деградацию у чужого провайдера не принесёт никто.

Хотя принести несложно: у статус-пейджей на Statuspage есть атом-фид — cloudflarestatus.com/history.atom, githubstatus.com/history.atom. Дальше парсится и льётся куда угодно.

Про сборщик расскажу через неделю.

#SRE #DevOps #Observability #Reliability #CDN #Cloudflare #IncidentManagement