利用wget2多線(xiàn)程遞歸下載文件

wget2最大特點(diǎn)

支持多線(xiàn)程痘绎,控制線(xiàn)程的有兩個(gè)參數(shù)

wget2控制線(xiàn)程的參數(shù)

wget2 的兩個(gè)參數(shù) --chunk-size 和 --max-threads 用于控制多線(xiàn)程下載的行為。

--chunk-size=size 參數(shù)用于設(shè)置多線(xiàn)程下載時(shí)每個(gè)線(xiàn)程的塊大小。塊大小可以使用字節(jié)表示播聪,如果沒(méi)有指定其他字節(jié)單位投剥。默認(rèn)情況下榴鼎,該參數(shù)的值為 0 或關(guān)閉狀態(tài)。

--max-threads=number 參數(shù)用于指定同時(shí)下載資源的最大并發(fā)線(xiàn)程數(shù)炼绘。默認(rèn)值為 5,但如果你希望允許更多或更少的線(xiàn)程數(shù)妄田,可以使用該選項(xiàng)進(jìn)行設(shè)置俺亮。

通過(guò)調(diào)整 --chunk-size 和 --max-threads 參數(shù),你可以根據(jù)實(shí)際需求優(yōu)化多線(xiàn)程下載的性能疟呐。較大的塊大小和較高的線(xiàn)程數(shù)可以加快下載速度脚曾,但同時(shí)也會(huì)增加系統(tǒng)資源的使用。請(qǐng)根據(jù)你的網(wǎng)絡(luò)環(huán)境和計(jì)算資源進(jìn)行適當(dāng)?shù)恼{(diào)整启具。

wget2的安裝

    wget https://gnuwget.gitlab.io/wget2/wget2-latest.tar.gz
    tar xf wget2-latest.tar.gz  # 建議加上tar的參數(shù)tar xzvf本讥,否則會(huì)解壓相當(dāng)長(zhǎng)時(shí)間
    cd wget2-*
    ./configure
    make
    make check
    sudo make install

實(shí)戰(zhàn)下載

wget2 -r -np -nH --max-threads 20  --cut-dirs 2 -R index.html https://path/to/

# 參數(shù)說(shuō)明
"""
-r:遞歸下載,即下載指定 URL 中的所有鏈接文件和目錄鲁冯。
-np:不追溯到上一級(jí)目錄拷沸,即不下載上一級(jí)目錄中的鏈接文件和目錄。
-nH:不創(chuàng)建主機(jī)目錄薯演,即不在本地創(chuàng)建與主機(jī)名對(duì)應(yīng)的目錄撞芍。
--max-threads 20: 調(diào)用20線(xiàn)程
--cut-dirs 2:去除兩個(gè)目錄層級(jí),即在本地下載時(shí)去掉 URL 中前兩個(gè)目錄層級(jí)涣仿。
-R index.html:排除下載名為 "index.html" 的文件勤庐。
https://path/to/:指定要下載的 URL示惊。
"""

wget2 github:

https://github.com/rockdaboot/wget2/blob/master/README.md

相關(guān)資料:

https://manpages.ubuntu.com/manpages/focal/man1/wget2.1.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
禁止轉(zhuǎn)載,如需轉(zhuǎn)載請(qǐng)通過(guò)簡(jiǎn)信或評(píng)論聯(lián)系作者愉镰。
  • 序言:七十年代末米罚,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子丈探,更是在濱河造成了極大的恐慌录择,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,839評(píng)論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件碗降,死亡現(xiàn)場(chǎng)離奇詭異隘竭,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)讼渊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén)动看,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人爪幻,你說(shuō)我怎么就攤上這事菱皆。” “怎么了挨稿?”我有些...
    開(kāi)封第一講書(shū)人閱讀 153,116評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵仇轻,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我奶甘,道長(zhǎng)篷店,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,371評(píng)論 1 279
  • 正文 為了忘掉前任臭家,我火速辦了婚禮疲陕,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘侣监。我一直安慰自己鸭轮,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,384評(píng)論 5 374
  • 文/花漫 我一把揭開(kāi)白布橄霉。 她就那樣靜靜地躺著窃爷,像睡著了一般。 火紅的嫁衣襯著肌膚如雪姓蜂。 梳的紋絲不亂的頭發(fā)上按厘,一...
    開(kāi)封第一講書(shū)人閱讀 49,111評(píng)論 1 285
  • 那天,我揣著相機(jī)與錄音钱慢,去河邊找鬼逮京。 笑死,一個(gè)胖子當(dāng)著我的面吹牛束莫,可吹牛的內(nèi)容都是我干的懒棉。 我是一名探鬼主播草描,決...
    沈念sama閱讀 38,416評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼策严!你這毒婦竟也來(lái)了穗慕?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,053評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤妻导,失蹤者是張志新(化名)和其女友劉穎逛绵,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體倔韭,經(jīng)...
    沈念sama閱讀 43,558評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡术浪,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,007評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了寿酌。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片胰苏。...
    茶點(diǎn)故事閱讀 38,117評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖醇疼,靈堂內(nèi)的尸體忽然破棺而出碟联,到底是詐尸還是另有隱情,我是刑警寧澤僵腺,帶...
    沈念sama閱讀 33,756評(píng)論 4 324
  • 正文 年R本政府宣布,位于F島的核電站壶栋,受9級(jí)特大地震影響辰如,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜贵试,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,324評(píng)論 3 307
  • 文/蒙蒙 一琉兜、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧毙玻,春花似錦豌蟋、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,315評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至运准,卻和暖如春幌氮,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背胁澳。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,539評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工该互, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人韭畸。 一個(gè)月前我還...
    沈念sama閱讀 45,578評(píng)論 2 355
  • 正文 我出身青樓宇智,卻偏偏與公主長(zhǎng)得像蔓搞,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子随橘,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,877評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容