Один сервер из восьми стоил около 440 млн долларов
1 августа 2012 года Knight Capital выкатила новый код руками на восемь серверов. На восьмой он не доехал. Там остался старый флаг, который включил давно выведенный из работы алгоритм. За 45 минут компания совершила около 4 млн сделок по 154 бумагам. Убыток до налогов составил около 440 млн долларов, а SEC позже оштрафовала её ещё на 12 млн.
Дело не в том, что кто-то ошибся. Выкат, который не проверен на каждом узле, - это не выкат, а надежда. А флаг, который переиспользовали под новую логику, оставляет старую ветку кода живой. Настройка есть, ощущение "доехало" есть, а факта нет.
У меня масштаб другой, а риск тот же. Конвейер новостей об ИИ (ночью собирает и проверяет новости об ИИ и готовит пост дня для Telegram) работает по расписанию. О его сбое можно узнать только по тишине: утром в панели просто пусто. Поэтому "всё настроено" я больше не считаю проверкой.
Что я поменял: проверяю факт, а не наличие настройки. Результат реально появился. Уведомление реально дошло. Копия реально разворачивается.
Что проверить на этой неделе, на тестовой копии, а не на рабочей системе:
1. Убедитесь, что последнее изменение сработало на каждом сценарии и узле, а не на том, который вы открывали. 2. Разверните свежую копию на тестовой площадке и посмотрите, что она живая. 3. Сломайте один ночной сценарий нарочно и проверьте, придёт ли вам сообщение.
Разобрал по шагам здесь: n8n и ИИ-агенты: что проверить, чтобы сбой не прошёл молча. Там же чек-лист из 9 пунктов, каждый проверяется глазами, и по нему видно, где у вас тишина. Живые примеры я складываю в витрину кейсов. Если нужно, помогу собрать проверку копий и сторожа сбоев под ваш набор автоматизаций и ИИ-агентов.
А у вас о сбое ночной автоматики узнают по сообщению или по тишине?