wget2最大特點(diǎn)
支持多線(xiàn)程痘绎,控制線(xiàn)程的有兩個(gè)參數(shù)
wget2控制線(xiàn)程的參數(shù)
wget2 的兩個(gè)參數(shù) --chunk-size 和 --max-threads 用于控制多線(xiàn)程下載的行為。
--chunk-size=size 參數(shù)用于設(shè)置多線(xiàn)程下載時(shí)每個(gè)線(xiàn)程的塊大小。塊大小可以使用字節(jié)表示播聪,如果沒(méi)有指定其他字節(jié)單位投剥。默認(rèn)情況下榴鼎,該參數(shù)的值為 0 或關(guān)閉狀態(tài)。
--max-threads=number 參數(shù)用于指定同時(shí)下載資源的最大并發(fā)線(xiàn)程數(shù)炼绘。默認(rèn)值為 5,但如果你希望允許更多或更少的線(xiàn)程數(shù)妄田,可以使用該選項(xiàng)進(jìn)行設(shè)置俺亮。
通過(guò)調(diào)整 --chunk-size 和 --max-threads 參數(shù),你可以根據(jù)實(shí)際需求優(yōu)化多線(xiàn)程下載的性能疟呐。較大的塊大小和較高的線(xiàn)程數(shù)可以加快下載速度脚曾,但同時(shí)也會(huì)增加系統(tǒng)資源的使用。請(qǐng)根據(jù)你的網(wǎng)絡(luò)環(huán)境和計(jì)算資源進(jìn)行適當(dāng)?shù)恼{(diào)整启具。
wget2的安裝
wget https://gnuwget.gitlab.io/wget2/wget2-latest.tar.gz
tar xf wget2-latest.tar.gz # 建議加上tar的參數(shù)tar xzvf本讥,否則會(huì)解壓相當(dāng)長(zhǎng)時(shí)間
cd wget2-*
./configure
make
make check
sudo make install
實(shí)戰(zhàn)下載
wget2 -r -np -nH --max-threads 20 --cut-dirs 2 -R index.html https://path/to/
# 參數(shù)說(shuō)明
"""
-r:遞歸下載,即下載指定 URL 中的所有鏈接文件和目錄鲁冯。
-np:不追溯到上一級(jí)目錄拷沸,即不下載上一級(jí)目錄中的鏈接文件和目錄。
-nH:不創(chuàng)建主機(jī)目錄薯演,即不在本地創(chuàng)建與主機(jī)名對(duì)應(yīng)的目錄撞芍。
--max-threads 20: 調(diào)用20線(xiàn)程
--cut-dirs 2:去除兩個(gè)目錄層級(jí),即在本地下載時(shí)去掉 URL 中前兩個(gè)目錄層級(jí)涣仿。
-R index.html:排除下載名為 "index.html" 的文件勤庐。
https://path/to/:指定要下載的 URL示惊。
"""
wget2 github:
https://github.com/rockdaboot/wget2/blob/master/README.md
相關(guān)資料:
https://manpages.ubuntu.com/manpages/focal/man1/wget2.1.html