В мониторинге я с 2014 года. За это время успел поработать с разными инструментами, инфраструктурами и подходами — от мониторинга сетевого оборудования до сложных корпоративных систем. И за эти годы заметил одну проблему, которая встречается практически в каждой средней и крупной компании.

Систем мониторинга много. А единой точки управления алертами зачастую нет.

В большинстве компаний одновременно используются несколько инструментов:

🔹 Zabbix — мониторинг серверов, сетевого оборудования и инфраструктуры. 🔹 Prometheus + Alertmanager — сбор метрик и алертинг приложений и сервисов. 🔹 Grafana — визуализация, дашборды и собственный алертинг.

А если компания достаточно крупная, ситуация становится ещё интереснее. 🙂 Появляются отдельные контуры инфраструктуры, несколько экземпляров Zabbix, Grafana и Alertmanager, разные команды и зоны ответственности.

Представьте диспетчера или дежурного инженера, перед которым открыто несколько окон с разными системами мониторинга. В одном Zabbix сработал триггер, в другом — ещё несколько. Grafana сообщает о проблемах с сервисом, а Alertmanager присылает очередную пачку уведомлений. При этом часть событий может относиться к одному инциденту, но в каждой системе они выглядят по-разному. Инженеру приходится переключаться между интерфейсами, сопоставлять события и самостоятельно собирать общую картину. Можно отправлять всё в Telegram или почту, но это лишь переносит проблему в один поток сообщений. Алерты остаются разрозненными, дублируются и создают информационный шум.

💡 Так появилась идея EVT-S Alert Engine Готовых решений для централизованной обработки алертов не так много. Особенно если нужен независимый инструмент, который не требует замены существующих систем мониторинга. Поэтому я решил разработать платформу, которая не просто собирает алерты, но и помогает инженерам понимать, что происходит с инфраструктурой и продуктами компании.

Моя цель — перейти от простого отображения алертов к интеллектуальной обработке событий.

⚙️ Что планирую реализовать? 🔹 Централизованный сбор — приём событий из Zabbix, Grafana, Alertmanager и других источников через Webhook. 🔹 Нормализация — единый формат алертов независимо от системы-источника. 🔹 Единый интерфейс — просмотр, поиск и фильтрация событий из всех контуров мониторинга. 🔹 Маршрутизация — гибкая отправка уведомлений в Telegram, групповые чаты, темы и по email.

Современные системы мониторинга отлично обнаруживают отклонения, но далеко не всегда помогают понять их причины и взаимосвязи. Именно здесь я вижу потенциал AI.

🧠 AI-анализ — понятное описание проблемы вместо сухого текста алерта, дополнительный контекст и возможные причины. 🔗 Корреляция событий — поиск взаимосвязей между алертами из разных систем и гипотез об общей первопричине. 🎯 Приоритизация — оценка важности событий с учётом контекста, а не только выставленного уровня Critical. 📋 Рекомендации — подсказки по диагностике и возможным действиям на основе событий и базы знаний. 📊 AI-сводки — вместо 50 уведомлений краткое описание инцидента: что произошло, какие сервисы затронуты и куда смотреть в первую очередь.

При этом AI должен помогать инженеру принимать решения, а не принимать их за него. И, конечно, базовая обработка алертов не должна зависеть от доступности AI. Отдельно рассматриваю использование локальных LLM, чтобы данные о корпоративной инфраструктуре не приходилось передавать внешним сервисам.

🚀 Что дальше? Сейчас проект находится в разработке. На данный момент уже реализован сбор, нормализцаия маршрутизация событий, а так же базовый ИИ анализ событий Буду делиться тут и в Telegram канале Event System процессом разработки, архитектурными решениями и результатами.

❓ А как у вас? Как организована работа с алертами из нескольких систем мониторинга? Доверили бы вы AI анализ инцидентов, поиск первопричин и рекомендации по устранению? Буду рад обмену опытом, идеям и конструктивной критике! 🤝

#EVTS #AlertEngine #AIOps #Observability #SRE #DevOps #Monitoring