Data Engineer: проектирую и поддерживаю пайплайны данных на Python, SQL и Apache Airflow. На текущем проекте построил событийную обработку на Kafka с идемпотентностью операций, пайплайн обработки документов с графовым (Neo4j) и векторным (pgvector) хранением, наблюдаемость на OpenTelemetry и Prometheus и тесты в CI. Работаю с ClickHouse, PostgreSQL, Greenplum, Hadoop и Spark. Строю витрины на DBT поверх PostgreSQL слоями staging, core, mart: для анализа поведения сервиса и поиска ошибок, быстрых отчётов для ИИ-агента и хранения истории данных. Писал аналитические запросы и отчёты на таблицах до 100 млн строк, ускорял запросы с помощью оконных функций и оптимизации join. Строил пайплайны на Airflow с запуском DAG раз в день. Собирал из API Wildberries продажи, заказы, остатки и цены в Google Cloud BigQuery с ежедневной загрузкой только новой информации, аналитику вёл в Google Looker. Собрал воспроизводимый стек для витрины SMS-данных messages_mart: ClickHouse как хранилище, дашборд SMS Operations в Apache Superset, генератор данных на 1 000 000 строк за 1 год, запуск одной командой. Анализировал самый частый путь клиентов по сайту: клик, просмотр, прокрутка, переход, покупка. На учебном курсе работал с Hadoop и Spark на данных о курсах валют Центробанка: загрузка и очистка данных, витрина в Hive поверх Hadoop, агрегации и расчёт показателей на Spark. Код: github.com/Antirry-1 Телеграм: https://t.me/Opegs Телефон: +79114335370 Почта: koopantipin@gmail.com