Microsoft объяснила, почему на прошлой неделе лег Microsoft 365. Виновник — июльское обновление сетевых шлюзов, которое три месяца тихо сидело в проде.
Внутри Windows случился lock contention: процессы блокировали друг друга, выедая CPU и память. На новых многоядерных серверах баг бил сильнее, а тесты Microsoft гоняла на старом железе.
Спусковой крючок — переключение Teams на основной шлюз Exchange Online. Нагрузка выросла, часть мощностей пропала. Начался каскад: трафик летел на соседние серверы, где был тот же дефект. За два часа упала вся инфраструктура, в худший момент молчало больше 80% серверов.
Обычный откат не спас. Дефект слишком долго жил в проде. Пришлось готовить отдельный фикс, выкатывать его партиями и перезапускать серверы.