wget -r -p -np -k -E http://www.xxx.com 抓取整站
wget -l 1 -p -np -k http://www.xxx.com 抓取第一級
wget -m -e robots=off -k -E "http://www.abc.net/"
可以將全站下載以本地的當(dāng)前工作目錄直砂,生成可訪問翔横、完整的鏡像腥椒。
解釋:
-r 遞歸抓取
-k 抓取之后修正鏈接城豁,適合本地瀏覽
-m //鏡像妄迁,就是整站抓取
-e robots=off //忽略robots協(xié)議尿招,強制溜腐、流氓抓取
-k //將絕對URL鏈接轉(zhuǎn)換為本地相對URL
-E //將所有text/html文檔以.html擴展名保存