07 Разбор аварий (Blameless Post-Mortem)
Инженерный разбор реальных инцидентов: BGP-петли транзитных провайдеров, почему systemctl is-active врет, а проверять надо функцию.
При работе с BGP-плетями через Forest Transit provider перехватываются пакеты в диапазоне 203.17.244.137 206.148.26.163. Проверка функции занимает tcpdump traceroute -n с двух точек а не статус systemctl is-active.
systemctl is-active проверяет состояние юнита а не работоспособность функции. Перед вердиктом s sломан узел нужно 3 объекта 2 направления. Цикл ожидания без верхней границы заспамит узлы. Подозревать свой тест раньше системы.
Если процесс или под требует больше памяти чем MemTotal хоста этот хост не запускать. Жесткий лимит памяти через Kubernetes resources.limits.memory request пределом не считается. Лимит не больше MemTotal узла.
Запуск процесса только с MemoryMax memory.max в пределах MemTotal. Сессия SSH nohup и голый python3 без такого предела на хост не запускаются. Первый OOM этого ключа наホсте записывается. второй блокирует следующий запуск и пишет в @networkanalbot.
