Основы качества данных, глава шестая, часть 1.
Мысли об устранении проблем с качеством данных.
📎 Для исправления проблем с качеством данных можно использовать практики DevOps и SRE-инженеров. Всё уже придумано и успешно применяется в разработке. Это позволит применять к качеству данных упреждающий и масштабируемый подход.
📎 Жизненный цикл DevOps включает 8 последовательных этапов, затем повторяется: 1️⃣ Планирование 2️⃣Разработка 3️⃣Сборка 4️⃣Тестирование 5️⃣Выпуск в пром 6️⃣Интеграция в существующую систему 7️⃣Эксплуатация 8️⃣Мониторинг
📎 Эффективное управление инцидентами является ключом к ограничению сбоев. Реакцию на инциденты стоит продумывать заранее.
📎 Управление инцидентами – процесс выявления, изучения, разрешения, анализа и предотвращения проблем, которые могут возникать ежедневно.
📎 Нет универсального подхода к пониманию причины поломки, потому что причин может быть бесконечно много.
📎 С увеличением количества обрабатываемых данных вероятность ошибок увеличивается. Пока компании используют данные для своих цифровых услуг и принятия решений, инциденты будут продолжать происходить.
📎 Жизненный цикл надежности данных: 1️⃣Обнаружение 2️⃣Решение 3️⃣Предотвращение
📎 Рабочий процесс управления инцидентами: 1️⃣Обнаружение 2️⃣Реагирование 3️⃣Анализ первопричин 4️⃣Решение 5️⃣Разбор инцидента
📎 Обнаружение инцидентов можно интегрировать в рабочие процессы обработки и анализа данных. Инциденты можно увидеть на мониторинге при наличии пороговых значений, можно поймать при работе с аномалиями.
📎 Обнаружение аномалий наиболее ценно, когда оно сквозное на всём пути обработки данных, а не только в вашей части. Это инструмент, а не способ решения.
📎 Обнаружение инцидентов – это многоуровневый процесс, который опирается не только на способность обнаруживать инциденты, но и реагировать на них, разрешать и предотвращать итеративным и повторяемым способом.
📎 В этап обнаружения входит не только сам факт знания, что что-то сломалось, но и понимание что именно, почему, где и на что/кого влияет, что дальше делать.
Тут начинается второй этап – реагирование.
