Как прошла SmartData 2026?

Я вот перечитываю свои впечатления от прошлого года и понимаю, что в этом году было совсем не так🥲 Вижу, что писала про

Текущее состояние рынка даты Presto/Trino + K8s + S3, Iceberg, StarRocks, Polars - движется сюда

А в этом году не было ни одного доклада про StarRocks или Polars

📚 Доклады

Конфу объединили с DS/ML, поэтому значительная часть докладов сразу отсеклась. Часть была супер нишевой: про китайский CubeFS, внутрянку pgvector, утечки памяти на контроллерах😫

Поэтому лично мне понравились всего 2 доклада:

1️⃣"Витрины данных на Data Lakehouse: маленькая история про большой переезд с Greenplum", Лемана Тех

Очень крутой чел рассказал про миграцию с Greenplum на dbt с yaml дагогенерацией, сэндбоксы, настройку ролевки, мониторинга, обслуживания. Пока они перенесли совсем немного и такое ощущение, что с многими проблемами просто не столкнулись

Вывод такой: витрины собираются дольше, функционала компонентов DLH не хватает, проблем и вопросов больше, чем решений и ответов

2️⃣"Контракты данных: когда схема становится договором", Uzum Market

Практически весь доклад мне казалось, что они живут в сказочном мире с единорогами и розовыми пони, настолько так все классно работает. На самом деле очень прикольно: сначала заводятся контракты данных, потом генерятся DDL, конфиги развертывания, автоматически разворачиваются кафка-топики, выставляются MR. DQ, Lineage - тоже все есть

На дискуссия была жесткая заруба по поводу ломающих изменений в контракте

Мне от спикера так понравились две фразы, пусть они тут останутся:

россыпь SDK data quality ассорти

❓ Что по AI?

Опишите красиво ваши метрики и данные, сделайте семантический слой - и будет классный контекст для ваших агентов (база)

📍 Новости и ссылочки

Статья: How Anthropic enables self-service data analytics with Claude Дэш из доклада про ADBC (Arrow Database Connectivity) Яндекс вписался в разработку китайского Greenplum - Cloudberry, в который они добавили поддержку Iceberg Одни ребята переехали на StarRocks уже в 2023 году В Магните в июне были сокращения Мысль - сейчас многие делают статичные AI-дэши, а что если навайбкодить BI, который реальными запросами ходит в данные? 21.10.2026 выходит DuckDB 2.0 AWS купили DuckLabs

@data_engineerette

В этом посте были ссылки, но мы их удалили по правилам Сетки