Самописный ETL-конвеер за две недели
Всем привет Хочу стать Data Engineer. И, кто бы мог подумать, для этого мне нужны ваши данные) 🧠 С чего всё началось Всё началось с интереса к новостному фону и желания понимать, что на самом деле происходит в мире и бизнесе. Так получилось, что я прочитал и разложил по полочкам больше 87 000 новостных сообщений. В какой-то момент я остановился и спросил себя: «А зачем?» Оглянувшись назад, я понял: меня всегда привлекали текст и данные. Я перелопатил “…тонны гигабайт левого хлама”, просто потому что мне интересно знать: почему всё устроено так, где какие связи, и как это влияет на среду вокруг. И я решил: нужно заниматься именно этим, а не изнывать от скуки на случайных работах.
Я захотел сделать свой инструмент для OSINT-аналитики. В потугах вайб-кодинга за пару недель свободного времени родился ETL-конвейер. Что он умеет: На входе принимает: CSV, TXT, PDF, DOCX, JSON (особенно выгрузки Telegram-чатов, каналов и ботов). На выходе отдаёт: таблицы CSV / Excel интерактивную карту геоупоминаний граф связей (HTML) Obsidian Vault — готовую базу знаний с YAML и вики-ссылками графики активности и распределение тональности
Понял, что инструмент решает разные задачи: OSINT / конкурентная разведка в Telegram-каналах (в будущем можно и в других источниках) Анализ отзывов и комментариев из CSV Репутационный мониторинг Геоаналитика новостных потоков Создание графов знаний из любых текстов
Чтобы доработать инструмент, получить обратную связь и наработать портфолио, мне нужны реальные данные и заказчики. Поэтому приглашаю вас к сотрудничеству. Мне — интересная работа, вам абсолютно бесплатно , — структурированные данные и экономия времени на рутине. Пишите в личные сообщения или в комментарии. Даже если просто хотите высказать мнение или пообщаться — буду рад.
P. S. Работаю бесплатно, для наработки опыта!!!
· 20.04
etl на python за 2 недели - нормальный результат для портфолио. data engineering сейчас требует обычно spark или airflow в стеке, но для джуна важнее показать что умеешь строить пайплайн целиком. кейс с реальными данными - лучшее что есть для первых собесов
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён