Три часа ночи. Графики инференса LLM на воркерах @ftops.space показывают деградацию p99 латентности до тридцати миллисекунд при нулевой загрузке GPU. Мониторинг CNI рапортует об идеальном здоровье интерфейсов, а Kubernetes послушно пересылает метрики через десяток виртуальных мостов и veth-пар. Что произошло на самом деле: стандартный CNI с iptables NAT и bridge-фильтрацией превратил каждый токен в бесконечный цикл обхода таблиц ядром. Пока инженеры ищут утечки в CUDA-драйверах, в dmesg тихо тикают сбросы ring buffer на сетевой карте, а CPU задыхается в softirq на обработке сетевых прерываний через lwtunnel. Диагностика показала чудовищные задержки на пересылке пакетов внутри виртуального интерфейса. Команда ip link show и анализ счетчиков ethtool -S eth0 вскрыли деградацию очередей на стороне хоста. Перевод критических воркеров на host network с выделенными macvlan-интерфейсами срезал хвост латентности до микросекунд, выбросив на помойку оверхед абстракций CNI. Облачные архитекторы лю...

Три часа ночи. Графики инференса LLM на воркерах @ftops.space показывают деградацию p99 латентности до тридцати миллисекунд при нулевой загрузке GPU | Сетка — социальная сеть от hh.ru