Всё работало. Пока не перестало…

Со мной такого не будет, я-то опытный, у меня всё настроено. Я же делаю бекапы и проверяю сценарии восстановления. У меня всё настроено. Вручную заниматься этим не хочу, будем платить Yandex Cloud (YC) для этого. Я не буду сильно заморачиваться, наверное, Яндекс синхронизирует как-то автоматически. Что может случиться? Внутри облака оно точно никуда не денется.

Вот так я рассуждал. Я решил, что мы лучше сосредоточимся на продукте, а от рутины откупимся.

Хронология:

8 и 9 октября выходят из строя ru-central1-b и ru-central1-d. В субботу 10 октября меня посещает мысль о том, что надо бы подстраховаться, ведь у меня все бекапы только внутри YC. Хотя и не верю, что доберутся до моего ЦОДа, потому что «остальные, наверное, уж точно подготовились». Вечером думаю, что утром встану и скачаю все данные с виртуалки, S3 и дампы БД хотя бы на локальный диск.

Просыпаюсь «прекрасным» воскресным утром, читаю новости, что-то типа: «на ru-central1-a временно отключено электричество». Лезу в браузер, сайт не открывается. В консоли вижу статус «Running». Первая мысль: «Вроде не всё так плохо». Проверяю S3, БД: ничего не отвечает. Пошёл холодок. Мечусь, тыкаю всё подряд, пытаюсь восстановить хоть что-то…

Не буду углубляться в технические подробности, но действительно важные части YC дал мне восстановить. Потерялись только архивные данные с диска ВМ. Точнее, они пока недоступны. 

Воскресенье и начало недели провёл как в молодости, с красными глазами и в терминале. Мне даже понравилось.

Пока бэкап лежит в том же облаке, в том же аккаунте и в той же зоне, и у того же провайдера, что и прод, — это не бэкап, а просто ещё одна копия, которая может уехать вместе со всем остальным. Теперь я не буду ждать «прекрасного воскресного утра», чтобы вспомнить про это. Дампы и критичные данные будут автоматически уезжать наружу, восстановление буду прогонять заранее, а не когда уже холодок по спине.

Вот такие вот обстоятельства, собачка.