Самописный ETL-конвеер за две недели

Всем привет Хочу стать Data Engineer. И, кто бы мог подумать, для этого мне нужны ваши данные) 🧠 С чего всё началось Всё началось с интереса к новостному фону и желания понимать, что на самом деле происходит в мире и бизнесе. Так получилось, что я прочитал и разложил по полочкам больше 87 000 новостных сообщений. В какой-то момент я остановился и спросил себя: «А зачем?» Оглянувшись назад, я понял: меня всегда привлекали текст и данные. Я перелопатил “…тонны гигабайт левого хлама”, просто потому что мне интересно знать: почему всё устроено так, где какие связи, и как это влияет на среду вокруг. И я решил: нужно заниматься именно этим, а не изнывать от скуки на случайных работах.

Я захотел сделать свой инструмент для OSINT-аналитики. В потугах вайб-кодинга за пару недель свободного времени родился ETL-конвейер. Что он умеет: На входе принимает: CSV, TXT, PDF, DOCX, JSON (особенно выгрузки Telegram-чатов, каналов и ботов). На выходе отдаёт: таблицы CSV / Excel интерактивную карту геоупоминаний граф связей (HTML) Obsidian Vault — готовую базу знаний с YAML и вики-ссылками графики активности и распределение тональности

Понял, что инструмент решает разные задачи: OSINT / конкурентная разведка в Telegram-каналах (в будущем можно и в других источниках) Анализ отзывов и комментариев из CSV Репутационный мониторинг Геоаналитика новостных потоков Создание графов знаний из любых текстов

Чтобы доработать инструмент, получить обратную связь и наработать портфолио, мне нужны реальные данные и заказчики. Поэтому приглашаю вас к сотрудничеству. Мне — интересная работа, вам абсолютно бесплатно , — структурированные данные и экономия времени на рутине. Пишите в личные сообщения или в комментарии. Даже если просто хотите высказать мнение или пообщаться — буду рад.

P. S. Работаю бесплатно, для наработки опыта!!!

Самописный ETL-конвеер за две недели | Сетка — социальная сеть от hh.ru