История про Мегаплан вам на ночь

Я там работал два года. Очень клево было, мне нравилось. И оттуда же я до сих пор тащу историю про самую большую ошибку в моей карьере.

А дело было так.

Я курировал проект перехода нашей клиентской базы из костыльной админки на собственную CRM, которую мы предлагали клиентам. Проект клевый — по сути подразумевалось, что наша компания начнет пользоваться тем же самым, что предлагает клиентам. А значит продакты начнут наконец-то делать важные фичи вместо херни, которую они там себе напридумывали.

Чтобы это сделать, нужно было два действия.

Действие номер 1 — перенести клиентов из админки к нам в новый Мегаплан. Действие номер 2 — начать работать в новом Мегаплане.

Функционал переноса был разработан вовремя. Тесты показали, что все работает. Вопрос миграции это дело серьезное, поэтому я поинтересовался бэкапами. Бэкапы делались раз в день и меня заверили, что все нормально. Тестировщики клятвенно уверяли, что все ок.

Не предусмотрел я только того, что релиз был в пятницу. Но это дело такое — только трусы не релизятся по пятницам, так что мы перекрестились и запустили миграцию, тем более, она должна была занять время и запускать ее в будний день мы не могли.

Тем не менее, все прошло хорошо, и выходные не были омрачены происшествиями.

В понедельник тоже было все отлично. Так что релиз был признан гладким.

Во вторник нашлась минорная проблема. Продажи нашли задвоение одного из клиентов. Видимо, скрипт прошелся два раза.

Ну что ж, удвоился так удвоился, удалили лишнюю копию.

Среда принесла нескольких таких клиентов.

На этот раз мы призадумались. Дубли снова были удалены, но в нас поселился червячок сомнения.

Четверг же наградил нас тем, что сомневались мы не зря. Ибо прямо с утра репорты по дублям пошли на десятки

Что-то у нас не то, подумали, чертыхаясь, все в команде. И руководство уже требовало ответа.

Так что собрали консилиум и полезли смотреть, что же там за фигня.

Найти дубли в базе оказалось плевым делом. Диагноз показал, что некоторые клиенты во время миграции удволились, многие учетверились, а кто-то даже увосьмерился. Так же были найдены и другие степени двойки, вплоть до 1024 лишних копий в проде.

Вы скажете — плевое дело. Удалить лишних, и забыть.

Мы почти это сделали, но решили посмотреть вручную, что эти копии не отличаются друг от друга.

И к нашему ужасу поняли, что они отличаются. Каждое действие с клиентом применяло его не к главной записи, а к случайной копии. Таким образом, у каждого из клиента образовалось от одного до N дублей, которые успели разойтись по истории настолько, насколько с ними за эти дни успел поработать отдел продаж.

Это была катастрофа.

Вручную удалить клиентов не представлялось возможным. Ведь так мы бы почистили важные данные, включая информацию об оплате, собранную за последнюю неделю. По этой же причине мы не могли откатиться на бэкап.

В итоге решили следующее: Клиенты, которых продажи не успели потрогать за эти дни, зачищаем автоматически.

Те же, по которым записи успели поменяться, открываем вручную, сверяем глазами данные, и переносим в карточку все те данные, которые оказались в ошибочных копиях данного контакта.

Таких набралось порядка 4х тысяч штук.

Выручили товарищи из саппорта, которые мужественно взяли на себя данную задачу, и с помощью клавиатуры и какой-то матери, привели базу в надлежащий вид всего за два дня.

То есть всего спустя неделю после релиза, инцидент был исчерпан.

А я очень сильно порадовался, что счет наших клиентов шел на тысячи, а не на миллионы, ибо тогда бы меня точно отправили все отрабатывать на урановые рудники.

Какая же мораль?

Мораль простая. Не верь разработчикам, если они говорят, что точно все работает. Почти всегда это означает ровно обратное, просто ты пока об этом не в курсе 😁

Ну а Мегаплан? То же что и раньше. Отличная система, лайк подписка. Товарищи очень давно не вкладывались в маркетинг, но это вполне годный вариант для корп портала, трекинга задач и вообще, комбайн "все в одном".

Ну и миграций таких они с тех пор не проводят 👍