Всем привет, хочу сегодня немного поделиться небольшим open source-проектом, который сделал для себя под рабочие задачи в пентесте.

Если коротко, я навайбкодил себе консольный пайплайн для сбора и первичной актуализации веб-активов компании.

Смысл простой: дать на вход домен → получить структурный отчёт по активам → сразу понять, что живое, что за CDN/WAF, какие IP есть за доменами и какие порты стоит смотреть дальше.

━━━━━━━━━━ Зачем я это сделал ━━━━━━━━━━

В начале работы часто мои шаги выглядели как “запустил один инструмент, потом второй а за ним 3,4...”, происходила постоянная склейка данных из разных источников.

• Сначала собираешь домены и субдомены. • Потом отдельно смотришь IP. • Потом проверяешь, что реально отвечает по HTTP. • Потом отдельно прогоняешь CDN/WAF. • Потом уже решаешь, какие IP можно аккуратно сканировать nmap, а какие лучше не трогать, потому что это условный Cloudflare / WAF / cloud edge.

И в моменте я понял, что слишком много времени уходит не на пентест, а на перенос результатов между тулзами и приведение всего к нормальной структуре. А как известно время = баунти за принятые отчёты

━━━━━━━━━━ Что делает скрипт ━━━━━━━━━━

Сейчас логика такая: • на вход указывается домен • запускается theHarvester • сохраняется сырой отчёт по найденным данным • из результатов достаются hosts, IP, URLs, emails, ASNS • всё это приводится к внутренней структуре активов • домены и субдомены резолвятся в IP • активы группируются вокруг IP • дальше запускается cdncheck • потом httpx проверяет, что реально отвечает • потом nmap сканирует IP, которые не были определены как cdn/cloud/waf

То есть на выходе получается не просто “простыня субдоменов”, а более понятная структура:

IP └ домены / субдомены └ URL └ HTTP-статусы └ CDN/WAF/Cloud информация └ открытые порты и версии сервисов

━━━━━━━━━━ Почему именно так ━━━━━━━━━━

Мне хотелось сделать не очередную обёртку над одной тулзой, а небольшой пайплайн.

➤ theHarvester хорошо закрывает стартовый OSINT: домены, субдомены, IP, email, интересные URL и следы в публичных источниках.

➤ httpx помогает быстро понять, какие активы реально живые и что они возвращают.

➤ cdncheck нужен, чтобы не путать инфраструктуру цели с CDN/WAF/cloud edge.

➤ nmap уже даёт инфраструктурную часть: открытые порты, сервисы и версии.

В итоге каждый инструмент делает свою часть работы, а скрипт просто связывает их в один более удобный процесс.

━━━━━━━━━━ Мини итог ━━━━━━━━━━

Дальше я хочу улучшать данный скрипт, а именно: • поддержку разных источников • более аккуратную работу с URL и endpoint-ами • интеграцию с другими своими проектами

Идея при реализации проекта была проста: разведка должна быть не набором случайных файлов после разных тулзов, а нормальным пайплайном, где каждый артефакт понятно связан с другим.

репа проекта: ➥ https://github.com/eZer-Net/asset-toolchain-pipeline

Использовать, понятное дело, только на своих целях или там, где есть разрешение на тестирование)

#AppSec #Pentest #BugBounty #OSINT #CyberSecurity #OpenSource #theHarvester #httpx #nmap