Статус “готово” у данных обычно значит “загрузка закончилась”. Pinterest считает, что это не статус, а совпадение.

У них изменения из баз льются непрерывно, и загрузке просто нечем закончиться. Поэтому готовность партиции теперь отдельный сигнал: watermark по времени событий, который публикуется в метаданных таблицы и назад не идет. Опоздавшая запись его не откатит. В их формулировке готовность больше не побочный эффект завершения джобы.

Главное тут - “назад не идет”. “Готово”, которое потом тихо пересчитывается, называется “пока”.

Проверьте свой самый важный отчет: может ли цифра за вчера завтра стать другой. Если может - напишите рядом, до какого момента она “пока” и с какого уже “готово”.

https://www.infoq.com/news/2026/10/pinterest-event-time-partition/ #данные #аналитика #dataengineering