У вас есть DRP? А учения проводили? Только честные, чтобы ЦОД целиком выключить и подняться из бекапа? Ибо между «у нас всё зарезервировано» и «мы продолжаем работать, даже если на ЦОД упал метеорит» достаточно большая пропасть.
Павел Евстигнеев, руководитель непрерывности и ИТ-рисков МТС Банка, рассказал на IT Elements про проект «Комплексный DRP». Изначально поставленная задача звучала просто: обеспечить восстановление систем и процессов банка при недоступности одного из ЦОД.
Дальше простота закончилась и началась реальность. Всё по классике: первым делом аудит, чтобы понять какие системы вообще считать критичными. Потом пройтись по архитектуре в поисках SPOF, проверить существующие HA/DR-схемы, разработать целевые решения, написать покомпонентные планы восстановления — и только после этого собирать из них общий DRP.
Масштаб мероприятия:
- 21 месяц работы.
- 160 обследованных ИС.
- 60+ интервью с заказчиками.
- 70+ тестовых запусков DRP.
- 20 человек в команде проекта.
- 14% критически важных ИС отправили на доработку.
Так что аудит катастрофоустойчивости, это не только ценный мех, но и хороший способ найти слабые места в своей инфраструктуре. И важный момент, что тут дело не закончилось созданием +1 одной папки с регламентами, а привело к реальным изменениям.
А потом начинается интересное - этап тестирования. Потому что настоящий DRP не проверяется по принципу «запустили одну тестовую ВМ — всё хорошо». Сначала отдельно проверяем восстановление каждой ИС, а потом комплексные учения с моделированием полного отказа ЦОД и переключением трафика.
Итоговый целевой RTO - 20 минут. Это хороший пример того, почему RTO нельзя просто написать в SLA: сначала инфраструктура должна архитектурно уметь его выполнить, потом команда должна уметь это делать и только после этого всё вместе проверяется на учениях.
Так что в тысячный раз повторю: DRP — это не документ о том, что делать, когда всё сломается. Это регулярная проверка того, что архитектура, люди, процессы и мощности ЦОД действительно способны пережить то самое «когда всё сломается». А всё остальное это больше про литературные упражнения.
