🔥Как скачивать чужой сайт целиком и частями🔥 Часть 2.

Как заставить wget игнорировать robots.txt?

По-умолчанию wget исполняет инструкции из файла robots.txt, например, сайт может запретить роботам посещать все либо определённые страницы. Чтобы wget игнорировал эти инструкции, нужно добавить параметр -e robots=off.

Альтернатива wget — HTTrack

Помимо wget, существует ещё одна консольная утилита упрощающая выкачку сайтов целиком — HTTrack.

httrack https://example.com/path/index.html -* +page= +/article/-*[0-9].html -O . --continue -O, —path — директория в которую будут сохраняться скаченные файлы.

-i, —continue — продолжить прерванную процедуру скачивания.

-* — запретить скачивание любых файлов, кроме прямо разрешённых.

+1_[a-z].doc — скачать файлы соответствующие маске, например 1_a.doc, 1_b.doc.

#seo #сотрудничество #бизнес #саморазвитие #обучение #маркетинг #продвижение