Итого, для истории:

• первые проблемы начались в ~20:00 МСК. Трафик начал стремительно падать, и упал более чем в два раза с 7, до 3Тбит/с.

• восстановление началось примерно в 21:00 МСК

Причина - пожар (хлопок?) на ТЭЦ-20 Вавилова, из-за чего упали оба ввода с этой подстанции (а ещё два с Чагино видимо отъехали по перегрузу). Кроме, собственно, ММТС-9 пострадала и городская инфраструктура - метро, трамваи, ТЦ и жилые дома в трёх районах.

А теперь пару слов о том, почему "девятка" легла, хотя казалось бы, всё должно быть зарезервировано и ваще.

• ММТС-9 строился и проектировался как узел связи, а не ЦОД. Питание от двух городских подстанций ( на 2026г два луча от каждой), четыре входа кабельной канализации;

• со временем "телефонная" нагрузка сменилась на "айтишную" и "сетевую". Но и то и другое сейчас - это 19" шкафы с оборудованием, которое потребляет очень много электричества. Политику резервирования при этом каждый арендатор (оператор связи или обычная компания) определяет сам. Кто-то берёт стойки на разных этажах, кто-то ставит только выносы для стыков с другими провайдерами. Кто-то надеется на надёжность самой площадки;

• из-за того, что этажи вводились в работу постепенно, а энергосистему пришлось модернизировать "по ходу", схемы питания разных этажей отличаются. Где-то всё хорошо, где-то постоянные проблемы. При этом "луч гарантированного питания", закрытый ИБП и дизелем - это отдельная (платная) услуга, которая доступна не на всех этажах - т.е. резервным питанием закрыто далеко не всё;

• ввиду постоянно растущего потребления, энергосистема находится в стадии постоянной модернизации. при этом на отдельных этажах/помещениях проблемы с питанием случаются достаточно регулярно;

• падало, к слову, не всё - часть этажей работали на дизелях. Отваливались ли вводы от Чагино - сказать сейчас сложно, но видимо да (аналогично ситуации 2005 года);

• что до "тиеров", то тут надо понимать, что знакомый многим значок "Tier III", которым любят щеголять некоторые ЦОДы - это всего лишь отметка о прохождении конкретной сертификации от конкретной организации (Uptime Institute). ЦОД эту сертификацию проходить не обязан, и даже заявлять соответствие ей тоже не обязан, т.к. штука эта, в основном, про маркетинг. а надёжность и доступность каждая площадка (и её клиенты) прорабатывает согласно представлений бизнеса о прекрасном (см. Яндекс);

• ЦОД на Бутлерова, кстати, тоже есть (M9.Plus), и там всё было ок (с поправкой на упавшие каналы, конечно).

Зато тепреь мы знаем, что случится, если ляжет "девятка". Надеюсь, каждый оператор сделает выводы из вчерашнего инцидента

P.S. Вчерашнее официальное Московские электросети, официально: в связи с технологическим переключением источников энергоснабжения имело место кратковременное отключение отдельных потребителей в Гагаринском и ряде других районов. В настоящее время энергоснабжение потребителей осуществляется в штатном режиме. Распространяемая в соцсетях информация о последствиях инцидента является недостоверной. #thereisnoclouds @snakeslair

В этом посте были ссылки, но мы их удалили по правилам Сетки