Куда еще больше? Кажется, нам уже нужна отдельная рубрика под посты на тему «Как корабль назовешь — так он и поплывет». Мы уже писали, почему нужно переименовать CDO в CDMO, и почему надо нанимать Data Product Owner вместо Data Owner.
Сегодня про то, что пора бы переходить от Big Data к Huge Data. Вдохновились статьей на Форбсе, в которой в основном про то, как в МТС делают рекламу с помощью данных, а вот про Huge Data там упоминают только скользь.
Нам показалось важным покопаться и в термине, и в том, что он описывает.
В какой момент Big Data превращается в Huge Data Big Data — это максимум из своих данных. Например, вы — ритейлер. Продажи, остатки, клики, чеки — все это внутри вашего контура. Ограничение понятно: модели не видят погоду, потоки людей и задержки у поставщиков.
В такой ситуации нет смысла делать ваши большие данные еще больше.
Тогда вы ищете партнеров, которые вам помогут. И начинаете совместно пользовать Data Clean Room. Это закрытая вычислительная среда у партнера или у нейтрального провайдера.
Вы загружаете туда код и настройки. Сырые таблицы партнера не копируются к вам. Комната считает нужные метрики и признаки и возвращает только согласованный результат.
И в этот момент Big Data превращается в Huge Data.
Вы не тащите чужие данные к себе. У вас не становится больше данных. Вы отправляете вычисления туда, где лежат данные. Правила зашиты заранее: что считать, на каком уровне агрегировать, что можно вынести наружу. Все действия пишутся в аудит.
Как это устроено Поставщик не выгружает вам историю поставок. Он запускает ваш расчет в Data Clean Room. На выходе вы получаете вероятности задержки по всем товарам на следующую неделю.
Погодный сервис не передает никакие логи. Он все считает у себя и возвращает по районам и неделям простые признаки: «аномальная жара», «аномальный холод», «сильные осадки».
Оператор посещаемости не делится треками и чеками. Он отдает только сводный индекс потока людей по кварталам города.
Затем все это склеивается и ваша Big Data обогащается. Большие данные не становятся больше, но становятся полезнее.
Теперь раз в сутки система подтягивает признаки из всех Data Clean Rooms, модель обновляет прогноз по каждой точке и неделе и заранее меняет заказы: при высоком риске задержки + жаре + росте потока активнее запасает воду и мороженое, при ливнях и падении потока урезает товары для пикника.
Закрепляем
В Big Data вы растите свое озеро. В Huge Data вы соединяете внешние и внутренние сигналы через Data Clean Rooms. Вы забираете не чужие данные, а инсайты. Вместо того, чтобы собирать еще какие-то данные, вы ищете еще каких-то партнеров, которые обогатят ваши наборы.
В этом посте были ссылки, но мы их удалили по правилам Сетки
