🔹 Стратегии загрузки: full vs incremental — не тянуть весь мир 🔹 Когда делать full load, а когда incremental? 🔸 full load и incremental появились чтобы не перегружать источник и сеть: полная загрузка решает проблему простоты и согласованности, инкрементальная — уменьшает нагрузку и улучшает performance при больших объёмах.

🔸 full load = считываем всю таблицу заново; incremental = загружаем только новые или изменённые строки. CDC (Change Data Capture) — технология фиксации изменений, которая делает incremental точным и быстрым.

🔸 Используйте full load при первой загрузке или при мелких таблицах/разовых пересчётах; используйте incremental при больших данных, частых обновлениях и когда важна низкая latency.

🔸 Мини‑пример: -- full load SELECT * FROM users;

-- incremental SELECT * FROM users WHERE updated_at > :last_run;

📚 Правило: небольшая полная загрузка дешевле сложного инкремента; при росте объёма переходите на incremental/CDC.

#Coderikk #Etl #Junior #Начинающий

➡️ Мы в Telegram - Сетке - Дзен Буду рад вашей реакции здесь⬇️

В этом посте были ссылки, но мы их удалили по правилам Сетки