Microsoft объяснила, почему на прошлой неделе лег Microsoft 365. Виновник — июльское обновление сетевых шлюзов, которое три месяца тихо сидело в проде.

Внутри Windows случился lock contention: процессы блокировали друг друга, выедая CPU и память. На новых многоядерных серверах баг бил сильнее, а тесты Microsoft гоняла на старом железе.

Спусковой крючок — переключение Teams на основной шлюз Exchange Online. Нагрузка выросла, часть мощностей пропала. Начался каскад: трафик летел на соседние серверы, где был тот же дефект. За два часа упала вся инфраструктура, в худший момент молчало больше 80% серверов.

Обычный откат не спас. Дефект слишком долго жил в проде. Пришлось готовить отдельный фикс, выкатывать его партиями и перезапускать серверы.

Подробности отчёта — The Register