目錄:
??|- wget
??|- mwget
??|- axel
??|- 百度云鏈接的下載方式
wget
參考資料:
man wget
wget -h
linux wget 命令用法詳解(附實(shí)例說(shuō)明)
指令格式
wget [OPTION]... [URL]...
簡(jiǎn)介
wget是Linux自帶的下載工具,支持FTP和HTTP等,使用比較方便洛波。
一些選項(xiàng)
-O??指定輸出名稱
-c??斷點(diǎn)續(xù)傳
-b??后臺(tái)模式,使用‘tail -f wget-log’昨登,查看過(guò)程
--user-agent??指定發(fā)送請(qǐng)求時(shí),請(qǐng)求頭header部分
-i??下載保存在文本中連接
演示
比如下載yolov3論文的pdf文件
https://pjreddie.com/media/files/papers/YOLOv3.pdf
直接下載
wget https://pjreddie.com/media/files/papers/YOLOv3.pdf
設(shè)置輸出為yolov3.pdf
wget -O yolov3.pdf https://pjreddie.com/media/files/papers/YOLOv3.pdf
設(shè)置后臺(tái)模式
wget -b https://pjreddie.com/media/files/papers/YOLOv3.pdf
tail -f wget-log
mwget
參考資料:
mwget -h
安裝方法
指令格式
mwget [Options]... [URL]...
簡(jiǎn)介
??mwget是仿照wget贯底,但是解決了wget只能單線程下載文件的尷尬局面丰辣,與wget使用的方法基本一致,只是多了 ’-n’ 指定多線程的選項(xiàng)禽捆。但是mwget并不是系統(tǒng)自帶的糯俗,需要另外下載。
安裝方式
- 下載mwget源文件
wge http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2
可能會(huì)報(bào)錯(cuò)睦擂,這個(gè)是外網(wǎng)得湘,有可能連接不上,于是下載好顿仇,后上傳文件淘正。
- 進(jìn)入相應(yīng)目錄
cd mwget_0.1.0.orig
- 進(jìn)行環(huán)境確認(rèn)
./configure
報(bào)錯(cuò)如下
configure: error: Your intltool is too old. You need intltool 0.35.0 or later.
- 更新intltool
sudo apt-get install intltool
- 重新確認(rèn)環(huán)境
./configure
- 進(jìn)行編譯
make
- 進(jìn)行安裝
sudo make install
- 測(cè)試是否能夠使用
mwget -h
輸出如下:
GNU MWget 0.1.0 ,一個(gè)非交互式多線程可移植的網(wǎng)絡(luò)文件下載工具臼闻。
用法: mwget [選項(xiàng)]....[URL]
選項(xiàng):
-b, --debug 調(diào)試模式鸿吆,顯示調(diào)試信息
-c, --count=num 設(shè)置重試次數(shù)為[num],不限制次數(shù)設(shè)置為“0“,默認(rèn)設(shè)置為“99”述呐。
-d, --directory=dir 設(shè)置本地目錄為[dir],默認(rèn)值為當(dāng)前目錄惩淳。
-f, --file=file 重命名下載后文件為[file]
-h, --help 顯示幫助信息。
-i, --interval=num 設(shè)置FTP重試期限為[num]秒,默認(rèn)為“5“思犁。
-n, --number=num 設(shè)置下載的線程數(shù)代虾,默認(rèn)開(kāi)4個(gè)線程。
-r, --referer=URL 使用“Referer: [URL]”在HTTP頭中欺騙服務(wù)器激蹲。
-t, --timeout=num 設(shè)置超時(shí)時(shí)間為[num]秒棉磨,默認(rèn)設(shè)置是“30”。
-v, --version 顯示mwget的版本学辱,然后退出乘瓤。
-x, --proxy=URL 設(shè)置代理 [URL]
一些選項(xiàng)
-n???設(shè)置多線程的線程數(shù)(建議設(shè)置4/8,一般校園網(wǎng)最高速度為1.5M)
演示
??進(jìn)行8線程下載
mwget -n 8 https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.3.1-Linux-x86_64.sh
??速度約為1.5M/s策泣,圖中的’>’表明把下載過(guò)程分為8個(gè)部分衙傀。
??上面的例子中下載文件位于國(guó)內(nèi),而且只有一個(gè)文件差別不大萨咕。
[coco的數(shù)據(jù)集]作為比較
mwget -n 1 https://pjreddie.com/media/files/instances_train-val2014.zip
大約150k的速度差油,下載157M文件時(shí)間需要1天。
mwget -n 8 https://pjreddie.com/media/files/instances_train-val2014.zip
大約1.5M的速度任洞,下載157M文件時(shí)間需要3分鐘。
mwget -n 16 https://pjreddie.com/media/files/instances_train-val2014.zip
基本同上
axel
參考資料:
axel -h
Axel多線程下載工具使用詳解
axel 命令用法詳解
指令格式
axel [options] url1 [url2] [url...]
簡(jiǎn)介
??axel 是Linux下一個(gè)不錯(cuò)的HTTP/ftp高速下載工具发侵。支持多線程下載交掏、斷點(diǎn)續(xù)傳,且可以從多個(gè)地址或者從一個(gè)地址的多個(gè)連接來(lái)下載同一個(gè)文件刃鳄。并且默認(rèn)支持?jǐn)帱c(diǎn)續(xù)傳盅弛。
??默認(rèn)linux中沒(méi)有安裝。
??安裝方法:
apt-get install axel
測(cè)試方法:
axel -h
輸出如下:
用法: axel [選項(xiàng)] 地址1 [地址2] [地址...]
--max-speed=x -s x 指定最大速率(字節(jié) / 秒)
--num-connections=x -n x 指定最大連接數(shù)
--output=f -o f 指定本地輸出文件
--search[=x] -S [x] 搜索鏡像并從 X 服務(wù)器下載
--no-proxy -N 不使用任何代理服務(wù)器
--quiet -q 使用輸出簡(jiǎn)單信息模式
--verbose -v 更多狀態(tài)信息
--alternate -a 文本式進(jìn)度指示器
--help -h 幫助信息
--version -V 版本信息
一些選項(xiàng)
-n???設(shè)置多線程的個(gè)數(shù)
-o???指定輸出文件
-a???文本式進(jìn)度指示器
-q???靜默模式
演示
- 多線程下載(-n 選項(xiàng))
lee@lee:~/Desktop/anaconda$ axel -n 1 \
http://www.pjreddie.com/media/files/instances_train-val2014.zip
axel 出現(xiàn) 太多重定向 的問(wèn)題
輸出如下:(似乎是版本問(wèn)題叔锐,清華源有2.16的版本挪鹏,沒(méi)有這個(gè)問(wèn)題)
清華源
- 文本式進(jìn)度指示器(-a 選項(xiàng))
指令如下:
axel -a http://www.pjreddie.com/media/files/instances_train-val2014.zip
輸出如下:(輸出不在刷屏)
- 靜默模式
指令如下:
axel -d http://www.pjreddie.com/media/files/instances_train-val2014.zip
輸出如下:(沒(méi)有輸出了)
百度云鏈接的下載方式
參考資料:
這個(gè)資料使用的瀏覽器是chrome,但是Ubuntu默認(rèn)的瀏覽器是firefox
簡(jiǎn)介
??百度云默認(rèn)沒(méi)有提供linux的安裝包愉烙,所以linux默認(rèn)不能安裝百度云盤軟件讨盒。當(dāng)我們要從百度云盤下載文件的時(shí)候,似乎特別的麻煩步责,還要切換操作系統(tǒng)返顺,但是這里提供了一種方式,不但可以下載百度云的資源蔓肯,而且還可以不限速下載遂鹊。
安裝
-
打開(kāi)firefox
圖片.png -
添加組件
快捷鍵[ctrl]+[shift]+A
圖片.png
演示
1.測(cè)試
以下的百度云鏈接為一次比賽的數(shù)據(jù)集
百度云鏈接:https://pan.baidu.com/s/1_N9v9UWWArPbq3h0oqhZ5Q
提取碼:mj4a
出現(xiàn)導(dǎo)出下載的按鈕
- 點(diǎn)擊,并生成aria的指令
- 將文本復(fù)制蔗包,在終端中粘貼執(zhí)行(如下)