Радио «Виктор»: Инцидент-, проблем-, кризис- менеджмент Инцидент-менеджмент: убрать влияние и не дать ему вернуться прямо сейчас Сервер ушёл в 100% CPU, мы его перезагрузили, и влияние ушло. Но на этом инцидент не кончается. Если тяжёлая задача после перезагрузки снова его положит, через пять минут мы окажемся там же. Поэтому вторая часть работы — сделать так, чтобы проблема не вернулась в том же виде прямо сейчас. Снять тяжёлую задачу, расширить кластер, ограничить источник нагрузки. Красиво делать не нужно, нужно быстро и надёжно на ближайшее время.

Проблем-менеджмент: чтобы не повторилось вообще Это создание механизма контроля или превентивной реакции не только на конкретную проблему, но и на целый класс таких проблем. Или устранение архитектурных ограничений. Такая работа может занять недели и даже месяцы. Иногда избежать проблемы невозможно, но можно сократить последствия.

Кризис-менеджмент: когда влияние уже не убрать Признаюсь честно: сам я им никогда не занимался. Кризис начинается там, где никакое единичное действие не может вернуть систему к первоначальному состоянию. Всё уже случилось. Остаётся уменьшать последствия и шаг за шагом выбираться из ситуации.

Вероятно, вы знаете, что сейчас происходит у Яндекса. Задело и Yandex Cloud. Компания договорилась с VK Cloud, Selectel и K2Cloud, чтобы те ускоренно разместили данные и сервисы пострадавших клиентов. В обычной логике помогать клиенту уйти к конкуренту выглядит странно. В кризисе это необходимый ход: цель уже не сохранить выручку, а сделать так, чтобы у клиентов работал бизнес. Мы в одной лодке. Любым способом.

Ещё две вещи, которые там происходят, мне кажутся показательными: 🔘 Клиентам помогают вручную и с каждым по отдельности, днём и ночью. Такая работа не масштабируется, и в кризисе это нормально: процессы рассчитаны на типовые сценарии, а кризис нетиповой по определению. 🔘 Провайдер вместе с клиентами уже тренировал долгую недоступность целой зоны. Это тоже проблем-менеджмент, и именно поэтому критичные нагрузки удалось переключить. Я, как, наверное, многие, кто занимается инфраструктурой, таким проблем-менеджментом тоже занимаюсь и знаю, какая это огромная работа. Результата она не приносит, пока гром не грянет.

Итог Мне видится такая цепочка. Инцидент-менеджмент выигрывает время. Проблем-менеджмент уменьшает число инцидентов и смягчает последствия тех, что всё-таки случаются. Кризис-менеджмент нужен, когда первые два уже не спасают. Но то, насколько тяжёлым будет кризис, во многом решается раньше, на скучных учениях, когда «это же никогда не случится».

Сил ребятам, которые сегодня третью ночь будут не спать.