change data capture

есть несколько способов настроить скачивание данных из удаленных источников данных самый простой: скачать базу к себе как есть второй: если нужная таблица имеет колонку с таймстемпом обновления строк, можно запрашивать только последние данные.

cdc

3: любая нормальная база данных ведет журнал изменения данных. когда пользователь добавляет или удаляет строчку постгрес, например, записывает это действие в WAL. так вот. третий вариант предполагает читать непосредственно журнал изменений. это намного быстрее, чем читать непосредственно данные.

можно, конечно, настроить триггеры на изменение данных в таблице, но тогда получается двойная работа вычислительных ресурсов. мы сначала данные добавляем в таргет таблицу, а потом еще в таблицу изменений. и при этом точно также о каждой из этих транзакций уведомляем журнал транзакций.