Основы качества данных, глава пятая, часть 2/2

📎 Бизнес хочет видеть данные в режиме реального времени, а не идеальное состояние.

📎 Получение реальных данных как можно быстрее позволяет быть уверенным, что ожидание и реальность совпадут

📎 Важно понимать работоспособность своих данных в текущем состоянии на каждом этапе (наблюдаемость).

📎 В работе с данными можно брать принципы из смежных областей, например, DevOps.

Измерение окупаемости инвестиций в качество

📎 Осознание стоимости простоя поможет бизнесу понять необходимость работы над качеством данных.

📎 Стоимость простоя данных = Почасовая стоимость простоя * (Время обнаружения + Время разрешения)

📎 Время обнаружения - время, которое нужно чтобы владелец данных выявил проблемы любого рода. Может составлять недели и месяцы, когда находят последующие потребители. (TTD)

📎 Время разрешения - время, которое нужно для устранения инцидента. Обычно - минуты, часы, реже - дни. (TTR)

📎 Почасовая стоимость простоя - обобщенный показатель, время разработки, потраченное на один час простоя + влияние простоя на потребителей и бизнес-решения.

📎 Стоимость простоя нужно регулярно пересчитывать с учётом внешних факторов - стоимость рабочей силы, сфера влияния, штрафы и издержки и тд.

📎 Ежегодная стоимость некачественных данных = зарплата инженеров (=количество инженеров * 130% годового оклада) + риск комплаенса (= около 5% годового дохода) + альтернативные издержки ( = упущенная выгода + штрафы и др)

📎 Выделяют несколько способов взаимодействия и реакции на качество данных: ⤴️ Панель мониторинга, которая показывает время обнаружения, время решения и другие показатели; ⤴️ Соглашения об уровне обслуживания (SLA) - про обещания клиентам (например, доступность 99,99%) ⤴️ Индикаторы уровня обслуживания (SLI) - про цифры (например, 100500 ответов или не больше 100 инцидентов в единицу времени) ⤴️ Цели уровня обслуживания (SLO) - про фактические целевые значения для SLI (99% времени обеспечивать 95% качества) ⤴️ Рейтинг поставщика - насколько потребители довольны результатом работы

📎 Важный шаг во взаимодействии - согласование с заинтересованными сторонами того, как они собираются использовать данные и как для них выглядят высококачественные и надежные данные. Это самый простой способ установить правильные соглашения и понять, чему следует отдать приоритет.

📎 Шесть ключевых параметров, на основании которых стоит заключать соглашения: 1️⃣Полнота 2️⃣Своевременность 3️⃣Валидность 4️⃣Точность 5️⃣Согласованность 6️⃣Уникальность

📎 SLA, SLO, SLI нужны для обеспечения надёжности и установления понятных ожиданий, приоритезации интересов и реагирования.

📎 Заключение всех этих соглашений "в воздух" бессмысленно, основываться стоит на реальной ситуации и согласовании со всем готовности к сотрудничеству.

📎 Перед заключением соглашений рекомендуют: 1️⃣Узнать бизнес-приоритеты 2️⃣Понять связь с данными 3️⃣Узнать потребность в высоком качестве данных/терпимость к некачественным данным 4️⃣Наблюдать за текущей ситуацией в части возможных договорённостей 5️⃣Скорректировать ожидания, свои и контрагентов

📎 Порядок заключения соглашений: 1️⃣Определение надежности - понимание, что надежные данные означают для бизнеса, в деталях. 2️⃣Измерить надежность - определить показатели, влияние, ожидание 3️⃣Установить цели и диапазоны приемлемого времени простоя данных, это позволит классифицировать инциденты по уровню приоритета

📎 Выводы: ➡️ Инвестировать в проверки данных и профилирование стоит заранее и во всех областях ➡️ Отказоустойчивая платформа данных нужна и важна ➡️ Заключение и выполнение соглашений об уровне обслуживания повышают качество результатов работы организации