От «компьютерщика с катушками» до дата-инженера: как выжить в профессии, которой 10 лет назад не было Не так давно задался вопросом: откуда в России взялись дата-инженеры? Решил провести небольшое исследование (порыскать в тырнете). Сам я приблудился к данным недавно и об истоках профессии не задумывался ни разу.

Итак, начнем’с:

Предпосылки: когда данных было мало В СССР никто не слышал про «дата инжиниринг». Были «вычислительные центры» и «инженеры-программисты». Данные хранились на магнитных лентах, чтобы что-то посчитать - нужно было пройти тот еще квест.

Ирония: тогдашние инженеры владели полным циклом от пайки плат до отчeтов. Универсальность спасала.

В 90-е всe рухнуло. IT в России - удел энтузиастов, торгующих компами на рынке. С данными не работали: базы 1С и Access считались верхом инженерной мысли. Каждый выживал как мог.

Нулевые: первые ростки В 2000-е появились CRM, биллинг у операторов, интернет-магазины. Данных стало больше, и кто-то должен был их перекладывать. Появились первые «ETL-разработчики» - предки дата-инженеров. Они писали скрипты на Perl или PHP, дeргали базы по ODBC. Специализация ещe не сложилась, рынок чесался. В вакансиях: «требуется программист 1С + SQL + бухгалтерия, будем учить».

2010-е: рождение профессии в России С 2012 года в банках, телекомах, ритейле поняли: данных столько, что старые методы не работают. Нужен специальный человек. Не аналитик (отчeты), не DBA (админ), а кто-то, кто построит пайплайн, начистит данные и скормит голодным. В 2015-2016 появляются вакансии «Data Engineer». Зарплаты смешные: 80-120 тыс. руб. Требования адекватные: SQL, Python/Java, ETL. Никто не требовал Kubernetes и Kafka - их ещe не было.

Ирония: в 2018-2019, когда мировой рынок гонял Spark в облаках, российские дата-инженеры всe ещe сидели на Oracle и MS SQL, но начинали осваивать открытый стек. Рынок вакансий вырос на 50% за 2020 год. Профессия стала хайпом.

2026 год: эволюция или революция? Сейчас дата-инженер в России - не «парень с лопатой» 7-8 лет назад.

Что поменялось:

Стек. Забудьте ETL на Python. Теперь надо знать Airflow, dbt, Kafka, Spark, ClickHouse, Iceberg, S3-хранилища. А ещe - облака (VK Cloud, Yandex Cloud) или импортозамещeнное на своей инфраструктуре. Глобальные вендоры ушли - осваивай отечественное.

Подходы. Раньше построил пайплайн и забыл. Теперь строй Data Mesh или Data Lakehouse, иначе бизнес задушит вопросами качества. Добавились Data Governance, Observability, Data Contracts - по сути, новые головняки.

AI. Чат-боты пишут 70% рутинного кода. Опыт в оконных функциях - не преимущество, это база, которую AI воспроизведeт за секунду. Твоe преимущество - понимать, что попросить у AI и как встроить в архитектуру.

Главный вывод: учиться или вылететь Многие думают: «Выучу Python, SQL, Airflow - и до пенсии». Глубокое заблуждение.

Профессия эволюционировала от умельца с катушками до архитектора петабайтных систем. И эта эволюция не закончилась. Она ускоряется. Что через 3 года? Не знает никто. Но если сейчас не осваивать новые инструменты, не следить за трендами (Data Mesh, Data Products, активная метадата), не пробовать отечественные СУБД и не понимать, как AI меняет подход - можно выпасть. Рынок найдёт того, кто готов постоянно учиться.

Постоянное совершенствование - это не «люблю читать хабр». Это системная работа. Регулярное время на изучение нового. Умение вовремя заметить, что любимый инструмент устарел, и перейти на другой. Без сожалений.

Ирония: тот самый «старый инженер с катушками» выживал благодаря адаптивности. А мы, вооружeнные ноутбуками и облаками, иногда забываем эту простую истину.

Так что если вы дата-инженер - поздравляю. Вы в одной из самых динамично меняющихся профессий. Нравится - будет весело. Нет - поищите что-то поспокойнее, где тоже что то меняется, но медленнее.

p/s/ Получилось немного сумбурно, начинал писать про историю профессии, а выводы про то, что нельзя останавливаться в развитии и нужно идти в ногу со временем. Бывает…