0#3 多線程下載相關(guān)

目錄:
??|- wget
??|- mwget
??|- axel
??|- 百度云鏈接的下載方式

wget

參考資料:

man wget
wget -h
linux wget 命令用法詳解(附實(shí)例說(shuō)明)

指令格式

wget [OPTION]... [URL]...

簡(jiǎn)介

wget是Linux自帶的下載工具,支持FTP和HTTP等,使用比較方便洛波。

一些選項(xiàng)

-O??指定輸出名稱
-c??斷點(diǎn)續(xù)傳
-b??后臺(tái)模式,使用‘tail -f wget-log’昨登,查看過(guò)程
--user-agent??指定發(fā)送請(qǐng)求時(shí),請(qǐng)求頭header部分
-i??下載保存在文本中連接

演示

比如下載yolov3論文的pdf文件

https://pjreddie.com/media/files/papers/YOLOv3.pdf

直接下載

wget https://pjreddie.com/media/files/papers/YOLOv3.pdf

設(shè)置輸出為yolov3.pdf

wget -O yolov3.pdf https://pjreddie.com/media/files/papers/YOLOv3.pdf

設(shè)置后臺(tái)模式

wget -b https://pjreddie.com/media/files/papers/YOLOv3.pdf
tail -f wget-log

mwget

參考資料:

mwget -h
安裝方法

指令格式

mwget [Options]... [URL]...

簡(jiǎn)介

??mwget是仿照wget贯底,但是解決了wget只能單線程下載文件的尷尬局面丰辣,與wget使用的方法基本一致,只是多了 ’-n’ 指定多線程的選項(xiàng)禽捆。但是mwget并不是系統(tǒng)自帶的糯俗,需要另外下載。

安裝方式

  1. 下載mwget源文件
wge http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2

可能會(huì)報(bào)錯(cuò)睦擂,這個(gè)是外網(wǎng)得湘,有可能連接不上,于是下載好顿仇,后上傳文件淘正。
  1. 進(jìn)入相應(yīng)目錄
cd mwget_0.1.0.orig
  1. 進(jìn)行環(huán)境確認(rèn)
./configure

報(bào)錯(cuò)如下

configure: error: Your intltool is too old.  You need intltool 0.35.0 or later.
  1. 更新intltool
sudo apt-get install intltool
  1. 重新確認(rèn)環(huán)境
./configure
  1. 進(jìn)行編譯
make
  1. 進(jìn)行安裝
sudo make install
  1. 測(cè)試是否能夠使用
mwget -h

輸出如下:

GNU MWget 0.1.0 ,一個(gè)非交互式多線程可移植的網(wǎng)絡(luò)文件下載工具臼闻。
用法: mwget [選項(xiàng)]....[URL]
選項(xiàng):
  -b,  --debug          調(diào)試模式鸿吆,顯示調(diào)試信息
  -c,  --count=num      設(shè)置重試次數(shù)為[num],不限制次數(shù)設(shè)置為“0“,默認(rèn)設(shè)置為“99”述呐。
  -d,  --directory=dir      設(shè)置本地目錄為[dir],默認(rèn)值為當(dāng)前目錄惩淳。
  -f,   --file=file         重命名下載后文件為[file]
  -h,   --help              顯示幫助信息。
  -i,   --interval=num  設(shè)置FTP重試期限為[num]秒,默認(rèn)為“5“思犁。
  -n,  --number=num     設(shè)置下載的線程數(shù)代虾,默認(rèn)開(kāi)4個(gè)線程。
  -r,  --referer=URL    使用“Referer: [URL]”在HTTP頭中欺騙服務(wù)器激蹲。
  -t,  --timeout=num    設(shè)置超時(shí)時(shí)間為[num]秒棉磨,默認(rèn)設(shè)置是“30”。
  -v,  --version        顯示mwget的版本学辱,然后退出乘瓤。
  -x,  --proxy=URL      設(shè)置代理 [URL]

一些選項(xiàng)

-n???設(shè)置多線程的線程數(shù)(建議設(shè)置4/8,一般校園網(wǎng)最高速度為1.5M)

演示

??進(jìn)行8線程下載

mwget -n 8 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.1-Linux-x86_64.sh
圖片.png

??速度約為1.5M/s策泣,圖中的’>’表明把下載過(guò)程分為8個(gè)部分衙傀。
??上面的例子中下載文件位于國(guó)內(nèi),而且只有一個(gè)文件差別不大萨咕。
[coco的數(shù)據(jù)集]作為比較

mwget -n 1 https://pjreddie.com/media/files/instances_train-val2014.zip
圖片.png

大約150k的速度差油,下載157M文件時(shí)間需要1天。

mwget -n 8 https://pjreddie.com/media/files/instances_train-val2014.zip

圖片.png

大約1.5M的速度任洞,下載157M文件時(shí)間需要3分鐘。
mwget -n 16 https://pjreddie.com/media/files/instances_train-val2014.zip
圖片.png

基本同上


axel

參考資料:

axel -h
Axel多線程下載工具使用詳解
axel 命令用法詳解

指令格式

axel [options] url1 [url2] [url...]

簡(jiǎn)介

??axel 是Linux下一個(gè)不錯(cuò)的HTTP/ftp高速下載工具发侵。支持多線程下載交掏、斷點(diǎn)續(xù)傳,且可以從多個(gè)地址或者從一個(gè)地址的多個(gè)連接來(lái)下載同一個(gè)文件刃鳄。并且默認(rèn)支持?jǐn)帱c(diǎn)續(xù)傳盅弛。
??默認(rèn)linux中沒(méi)有安裝。
??安裝方法:

apt-get install axel

測(cè)試方法:

axel -h

輸出如下:

用法: axel [選項(xiàng)] 地址1 [地址2] [地址...]

--max-speed=x       -s x    指定最大速率(字節(jié) / 秒)
--num-connections=x -n x    指定最大連接數(shù)
--output=f      -o f    指定本地輸出文件
--search[=x]        -S [x]  搜索鏡像并從 X 服務(wù)器下載
--no-proxy      -N  不使用任何代理服務(wù)器
--quiet         -q  使用輸出簡(jiǎn)單信息模式
--verbose       -v  更多狀態(tài)信息
--alternate     -a  文本式進(jìn)度指示器
--help          -h  幫助信息
--version       -V  版本信息

一些選項(xiàng)

-n???設(shè)置多線程的個(gè)數(shù)
-o???指定輸出文件
-a???文本式進(jìn)度指示器
-q???靜默模式

演示

  1. 多線程下載(-n 選項(xiàng))
lee@lee:~/Desktop/anaconda$ axel -n 1 \
http://www.pjreddie.com/media/files/instances_train-val2014.zip

axel 出現(xiàn) 太多重定向 的問(wèn)題
輸出如下:(似乎是版本問(wèn)題叔锐,清華源有2.16的版本挪鹏,沒(méi)有這個(gè)問(wèn)題)


2.7版本.png

清華源


2.16版本.png
  1. 文本式進(jìn)度指示器(-a 選項(xiàng))
    指令如下:
axel -a http://www.pjreddie.com/media/files/instances_train-val2014.zip

輸出如下:(輸出不在刷屏)


圖片.png
  1. 靜默模式
    指令如下:
axel -d http://www.pjreddie.com/media/files/instances_train-val2014.zip

輸出如下:(沒(méi)有輸出了)


圖片.png

百度云鏈接的下載方式

參考資料:

這個(gè)資料使用的瀏覽器是chrome,但是Ubuntu默認(rèn)的瀏覽器是firefox

簡(jiǎn)介

??百度云默認(rèn)沒(méi)有提供linux的安裝包愉烙,所以linux默認(rèn)不能安裝百度云盤軟件讨盒。當(dāng)我們要從百度云盤下載文件的時(shí)候,似乎特別的麻煩步责,還要切換操作系統(tǒng)返顺,但是這里提供了一種方式,不但可以下載百度云的資源蔓肯,而且還可以不限速下載遂鹊。

安裝

  1. 打開(kāi)firefox


    圖片.png
  2. 添加組件
    快捷鍵[ctrl]+[shift]+A


    圖片.png

演示

1.測(cè)試
以下的百度云鏈接為一次比賽的數(shù)據(jù)集
百度云鏈接:https://pan.baidu.com/s/1_N9v9UWWArPbq3h0oqhZ5Q
提取碼:mj4a

圖片.png

出現(xiàn)導(dǎo)出下載的按鈕

  1. 點(diǎn)擊,并生成aria的指令
圖片.png

圖片.png
  1. 將文本復(fù)制蔗包,在終端中粘貼執(zhí)行(如下)
圖片.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末秉扑,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子调限,更是在濱河造成了極大的恐慌舟陆,老刑警劉巖误澳,帶你破解...
    沈念sama閱讀 218,607評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異吨娜,居然都是意外死亡脓匿,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,239評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門宦赠,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)陪毡,“玉大人,你說(shuō)我怎么就攤上這事勾扭≌绷穑” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,960評(píng)論 0 355
  • 文/不壞的土叔 我叫張陵妙色,是天一觀的道長(zhǎng)桅滋。 經(jīng)常有香客問(wèn)我,道長(zhǎng)身辨,這世上最難降的妖魔是什么丐谋? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,750評(píng)論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮煌珊,結(jié)果婚禮上号俐,老公的妹妹穿的比我還像新娘。我一直安慰自己定庵,他們只是感情好吏饿,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,764評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著蔬浙,像睡著了一般猪落。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上畴博,一...
    開(kāi)封第一講書(shū)人閱讀 51,604評(píng)論 1 305
  • 那天笨忌,我揣著相機(jī)與錄音,去河邊找鬼俱病。 笑死蜜唾,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的庶艾。 我是一名探鬼主播袁余,決...
    沈念sama閱讀 40,347評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼咱揍!你這毒婦竟也來(lái)了颖榜?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,253評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎掩完,沒(méi)想到半個(gè)月后噪漾,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,702評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡且蓬,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,893評(píng)論 3 336
  • 正文 我和宋清朗相戀三年欣硼,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片恶阴。...
    茶點(diǎn)故事閱讀 40,015評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡诈胜,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出冯事,到底是詐尸還是另有隱情焦匈,我是刑警寧澤,帶...
    沈念sama閱讀 35,734評(píng)論 5 346
  • 正文 年R本政府宣布昵仅,位于F島的核電站缓熟,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏摔笤。R本人自食惡果不足惜够滑,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,352評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望吕世。 院中可真熱鬧彰触,春花似錦、人聲如沸寞冯。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,934評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)吮龄。三九已至,卻和暖如春咆疗,著一層夾襖步出監(jiān)牢的瞬間漓帚,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,052評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工午磁, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留尝抖,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,216評(píng)論 3 371
  • 正文 我出身青樓迅皇,卻偏偏與公主長(zhǎng)得像昧辽,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子登颓,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,969評(píng)論 2 355