CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени.

Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.

Зачем это нужно ❓

Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции

• вставки (insert)
• обновления (update)
• удаления (delete)

С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.

Полезные ссылки 😉 🔗 What is CDC 🔗 CDC в Yandex Data Transfer 🔗 Знакомство с Debezium CDC для Apache Kafka