От автора: Для понимания условий задачи: за сеть в организации отвечали сетевые инженеры в двух офисах, удаленных друг от друга на 6 часовых поясов. При этом ни у техподдержки, ни у системных администраторов не было прав на сетевые устройства — даже на базовый просмотр их состояния. Системы мониторинга внутренней сети на тот момент еще не существовало, видны только внешние каналы. То есть, что происходит внутри удаленной площадки — полная «слепая зона».

Субботний муссон и «слепая зона»

Утро субботы в июле выдалось отвратительным. В наших краях это время гроз, муссонов и молний. В начале девятого утра раздается звонок от специалиста техподдержки: на одной из крупных удаленных площадок начали массово отключаться компьютеры и принтеры. Я подключилась к сети удаленно. Проверяю серверное оборудование — там всё в порядке, сервера «живы», работают стабильно и в моем личном присутствии не нуждаются. Проблема явно на стороне сетевой инфраструктуры площадки. Но прежде чем передать заявку сетевым инженерам, нужна хоть какая-то диагностика: что именно сломалось? Стандартные утилиты (ping и tracert, проверяющие путь прохождения данных в сети) сходили с ума и выдавали совершенно разные данные из разных точек площадки. Локализовать аварию не получалось.

Детектив по цепочке принтеров

И тут нам помог тот самый порядок, который наводили в ИТ-системах. Все принтеры площадки были занесены на принт-сервер по строгому шаблону: имя, здание, кабинет. Пока коллега из техподдержка пытался дозвониться до сетевого инженера, я открыла панель принт-сервера и просто наблюдала, в какой последовательности сетевые принтеры «отваливаются» и уходят в офлайн. Принтеры выключались не хаотично, а целыми коридорами и этажами. К 10 часам утра, анализируя эту цепочку, мы вычислили проблемный сегмент сети внутри площадки. Наконец, удалось разбудить второго сетевого инженера (в его часовом поясе было раннее утро, -6 часов от площадки). Получив от нас присерные координаты, он зашел на коммутаторы и подтвердил диагноз: четыре оптических модуля из-за грозы «отбыли в мир иной». Под его чутким руководством по телефону коллега перекоммутировал провода на резервные порты. К двум часам дня площадка полностью ожила.

Восемь лет спустя…

Самое примечательное в этой истории произошло восемь лет спустя. На этой же площадке случилась похожая авария. К тому времени в компании уже работал новый сетевой инженер. У него в руках были современные системы мониторинга, перед глазами в Заббиксе висела подробная схема сети, а на экранах горели красивые графики. Но парадокс в том, что найти точное место поломки он… не смог. Спустя 40 минут бесплодных поисков проблема была решена старым проверенным способом: пришлось зайти на местный принт-сервер и по цепочке отключения принтеров выяснить где именно «легла» сеть. Порядок, наведенный однажды в именах устройств, продолжает работать и спасать компанию даже годы спустя. Потому что правильная система переживает своих создателей. #админскиеистории #личныйопыт