Linux wget 命令用法詳解

Linux wget是一個(gè)下載文件的工具,它用在命令行下。對于Linux用戶是必不可少的工具痪蝇,尤其對于網(wǎng)絡(luò)管理員攻旦,經(jīng)常要下載一些軟件或從遠(yuǎn)程服務(wù)器恢復(fù)備份到本地服務(wù)器喻旷。如果我們使用虛擬主機(jī),處理這樣的事務(wù)我們只能先從遠(yuǎn)程服務(wù)器下載到我們電腦磁盤牢屋,然后再用ftp工具上傳到服務(wù)器且预。這樣既浪費(fèi)時(shí)間又浪費(fèi)精力,那不沒辦法的事烙无。而到了Linux VPS锋谐,它則可以直接下載到服務(wù)器而不用經(jīng)過上傳這一步。wget工具體積小但功能完善截酷,它支持?jǐn)帱c(diǎn)下載功能涮拗,同時(shí)支持FTP和HTTP下載方式,支持代理服務(wù)器和設(shè)置起來方便簡單迂苛。下面我們以實(shí)例的形式說明怎么使用wget三热。

命令格式:
wget [參數(shù)列表] [目標(biāo)軟件、網(wǎng)頁的網(wǎng)址] // 用法: wget [選項(xiàng)]... [URL]...

長選項(xiàng)所必須的參數(shù)在使用短選項(xiàng)時(shí)也是必須的灾部。

啟動:

  -V,  --version                   顯示 Wget 的版本信息并退出
  -h,  --help                      打印此幫助
  -b,  --background                啟動后轉(zhuǎn)入后臺
  -e,  --execute=命令              運(yùn)行一個(gè)“.wgetrc”風(fēng)格的命令```

日志和輸入文件:
  -o,  --output-file=文件          將日志信息寫入 FILE
  -a,  --append-output=文件        將信息添加至 FILE
  -d,  --debug                     打印大量調(diào)試信息
  -q,  --quiet                     安靜模式 (無信息輸出)
  -v,  --verbose                   詳盡的輸出 (此為默認(rèn)值)
  -nv, --no-verbose                關(guān)閉詳盡輸出康铭,但不進(jìn)入安靜模式
       --report-speed=類型         以 <類型> 報(bào)告帶寬。類型可以是 bits
  -i,  --input-file=文件           下載本地或外部 <文件> 中的 URL
  -F,  --force-html                把輸入文件當(dāng)成 HTML 文件
  -B,  --base=URL                  解析相對于 URL 的 HTML 輸入文件鏈接 (-i -F)
       --config=文件               指定要使用的配置文件
       --no-cookies                不讀取任何配置文件
       --rejected-log=文件         將拒絕 URL 的原因?qū)懭?<文件>赌髓。

下載:

  -t,  --tries=數(shù)字                設(shè)置重試次數(shù)為 <數(shù)字> (0 代表無限制)
       --retry-connrefused         即使拒絕連接也是重試
  -O,  --output-document=文件      將文檔寫入 FILE
  -nc, --no-clobber                不要下載已存在將被覆蓋的文件
  -c,  --continue                  斷點(diǎn)續(xù)傳下載文件
       --start-pos=偏移量          從由零計(jì)數(shù)的 <偏移量> 開始下載
       --progress=類型             選擇進(jìn)度條類型
       --show-progress             在任意啰嗦狀態(tài)下都顯示進(jìn)度條
  -N,  --timestamping              只獲取比本地文件新的文件
       --no-if-modified-since      不要在時(shí)間戳 (timestamping) 模式下使用
                                     if-modified-since get 條件請求
       --no-use-server-timestamps  don't set the local file's timestamp by
                                     the one on the server
  -S,  --server-response           打印服務(wù)器響應(yīng)
       --spider                    不下載任何文件
  -T,  --timeout=SECONDS           將所有超時(shí)設(shè)為 SECONDS 秒
       --dns-timeout=SECS          設(shè)置 DNS 查尋超時(shí)為 SECS 秒
       --connect-timeout=SECS      設(shè)置連接超時(shí)為 SECS 秒
       --read-timeout=SECS         設(shè)置讀取超時(shí)為 SECS 秒
  -w,  --wait=SECONDS              等待間隔為 SECONDS 秒
       --waitretry=SECONDS         在獲取文件的重試期間等待 1..SECONDS 秒
       --random-wait               獲取多個(gè)文件時(shí)从藤,每次隨機(jī)等待間隔 (0.5~1.5)*WAIT 秒
       --no-proxy                  禁止使用代理
  -Q,  --quota=數(shù)字                設(shè)置獲取配額為 <數(shù)字> 字節(jié)
       --bind-address=ADDRESS      綁定至本地主機(jī)上的 ADDRESS (主機(jī)名或是 IP)
       --limit-rate=RATE           限制下載速率為 RATE
       --no-dns-cache              關(guān)閉 DNS 查詢緩存
       --restrict-file-names=系統(tǒng)  限定文件名中的字符為 <系統(tǒng)> 允許的字符
       --ignore-case               匹配文件/目錄時(shí)忽略大小寫
  -4,  --inet4-only                僅連接至 IPv4 地址
  -6,  --inet6-only                僅連接至 IPv6 地址
       --prefer-family=地址族      首先連接至指定家族(IPv6,IPv4 或 none)的地址
       --user=用戶                 將 ftp 和 http 的用戶名均設(shè)置為 <用戶>
       --password=密碼             將 ftp 和 http 的密碼均設(shè)置為 <密碼>
       --ask-password              提示輸入密碼
       --no-iri                    關(guān)閉 IRI 支持
       --local-encoding=ENC        使用 ENC 作為 IRI (國際化資源標(biāo)識符) 的本地編碼
       --remote-encoding=ENC       使用 ENC 作為默認(rèn)遠(yuǎn)程編碼
       --unlink                    覆蓋前移除文件

目錄:

  -nd, --no-directories            不創(chuàng)建目錄
  -x,  --force-directories         強(qiáng)制創(chuàng)建目錄
  -nH, --no-host-directories       不要?jiǎng)?chuàng)建主 (host) 目錄
       --protocol-directories      在目錄中使用協(xié)議名稱
  -P,  --directory-prefix=前綴     保存文件到 <前綴>/..
       --cut-dirs=數(shù)字             忽略遠(yuǎn)程目錄中 <數(shù)字> 個(gè)目錄層锁蠕。

HTTP 選項(xiàng):

       --http-user=用戶            設(shè)置 http 用戶名為 <用戶>
       --http-password=密碼        設(shè)置 http 密碼為 <密碼>
       --no-cache                  不使用服務(wù)器緩存的數(shù)據(jù)夷野。
       --default-page=NAME         改變默認(rèn)頁 (通常是“index.html”)。
  -E,  --adjust-extension          以合適的擴(kuò)展名保存 HTML/CSS 文檔
       --ignore-length             忽略頭部的‘Content-Length’區(qū)域
       --header=字符串             在頭部插入 <字符串>
       --max-redirect              每頁所允許的最大重定向
       --proxy-user=用戶           使用 <用戶> 作為代理用戶名
       --proxy-password=密碼       使用 <密碼> 作為代理密碼
       --referer=URL               在 HTTP 請求頭包含‘Referer: URL’
       --save-headers              將 HTTP 頭保存至文件荣倾。
  -U,  --user-agent=代理           標(biāo)識自己為 <代理> 而不是 Wget/VERSION悯搔。
       --no-http-keep-alive        禁用 HTTP keep-alive (持久連接)。
       --no-cookies                不使用 cookies舌仍。
       --load-cookies=文件         會話開始前從 <文件> 中載入 cookies妒貌。
       --save-cookies=文件         會話結(jié)束后保存 cookies 至 FILE。
       --keep-session-cookies      載入并保存會話 (非永久) cookies铸豁。
       --post-data=字符串          使用 POST 方式灌曙;把 <字串>作為數(shù)據(jù)發(fā)送。
       --post-file=文件            使用 POST 方式节芥;發(fā)送 <文件> 內(nèi)容在刺。
       --method=HTTP方法           在請求中使用指定的 <HTTP 方法>逆害。
       --post-data=字符串          把 <字串> 作為數(shù)據(jù)發(fā)送,必須設(shè)置 --method
       --post-file=文件            發(fā)送 <文件> 內(nèi)容蚣驼,必須設(shè)置 --method
       --content-disposition       當(dāng)選擇本地文件名時(shí)允許 Content-Disposition
                                   頭部 (實(shí)驗(yàn)中)魄幕。
       --content-on-error          在服務(wù)器錯(cuò)誤時(shí)輸出接收到的內(nèi)容
       --auth-no-challenge         不先等待服務(wù)器詢問就發(fā)送基本 HTTP 驗(yàn)證信息。

HTTPS (SSL/TLS) 選項(xiàng):

       --secure-protocol=PR         選擇安全協(xié)議,可以是 auto、SSLv2艇劫、
                                    SSLv3、TLSv1队丝、PFS 中的一個(gè)。
       --https-only                 只跟隨安全的 HTTPS 鏈接
       --no-check-certificate       不要驗(yàn)證服務(wù)器的證書欲鹏。
       --certificate=文件           客戶端證書文件机久。
       --certificate-type=類型      客戶端證書類型,PEM 或 DER赔嚎。
       --private-key=文件           私鑰文件膘盖。
       --private-key-type=類型      私鑰文件類型,PEM 或 DER尤误。
       --ca-certificate=文件        帶有一組 CA 證書的文件侠畔。
       --ca-directory=DIR           保存 CA 證書的哈希列表的目錄。
       --ca-certificate=文件        帶有一組 CA 證書的文件损晤。
       --pinnedpubkey=FILE/HASHES  Public key (PEM/DER) file, or any number
                                   of base64 encoded sha256 hashes preceded by
                                   'sha256//' and seperated by ';', to verify
                                   peer against

HSTS 選項(xiàng):

       --no-hsts                   禁用 HSTS
       --hsts-file                 HSTS 數(shù)據(jù)庫路徑(將覆蓋默認(rèn)值)

FTP 選項(xiàng):

       --ftp-user=用戶             設(shè)置 ftp 用戶名為 <用戶>软棺。
       --ftp-password=密碼         設(shè)置 ftp 密碼為 <密碼>
       --no-remove-listing         不要?jiǎng)h除‘.listing’文件
       --no-glob                   不在 FTP 文件名中使用通配符展開
       --no-passive-ftp            禁用“passive”傳輸模式
       --preserve-permissions      保留遠(yuǎn)程文件的權(quán)限
       --retr-symlinks             遞歸目錄時(shí),獲取鏈接的文件 (而非目錄)

FTPS 選項(xiàng):

       --ftps-implicit                 使用隱式 FTPS(默認(rèn)端口 990)
       --ftps-resume-ssl               打開數(shù)據(jù)連接時(shí)繼續(xù)控制連接中的 SSL/TLS 會話
       --ftps-clear-data-connection    只加密控制信道尤勋;數(shù)據(jù)傳輸使用明文
       --ftps-fallback-to-ftp          回落到 FTP喘落,如果目標(biāo)服務(wù)器不支持 FTPS

WARC 選項(xiàng):

       --warc-file=文件名          在一個(gè) .warc.gz 文件里保持請求/響應(yīng)數(shù)據(jù)
       --warc-header=字符串        在頭部插入 <字符串>
       --warc-max-size=數(shù)字        將 WARC 的最大尺寸設(shè)置為 <數(shù)字>
       --warc-cdx                  寫入 CDX 索引文件
       --warc-dedup=文件名         不要記錄列在此 CDX 文件內(nèi)的記錄
       --no-warc-compression       不要 GZIP 壓縮 WARC 文件
       --no-warc-digests           不要計(jì)算 SHA1 摘要
       --no-warc-keep-log          不要在 WARC 記錄中存儲日志文件
       --warc-tempdir=目錄         WARC 寫入器的臨時(shí)文件目錄

遞歸下載:

  -r,  --recursive                 指定遞歸下載
  -l,  --level=數(shù)字                最大遞歸深度 (inf 或 0 代表無限制,即全部下載)最冰。
       --delete-after             下載完成后刪除本地文件
  -k,  --convert-links            讓下載得到的 HTML 或 CSS 中的鏈接指向本地文件
       --convert-file-only         convert the file part of the URLs only (usually known as the basename)
       --backups=N                 寫入文件 X 前瘦棋,輪換移動最多 N 個(gè)備份文件
  -K,  --backup-converted         在轉(zhuǎn)換文件 X 前先將它備份為 X.orig。
  -m,  --mirror                   -N -r -l inf --no-remove-listing 的縮寫形式暖哨。
  -p,  --page-requisites          下載所有用于顯示 HTML 頁面的圖片之類的元素赌朋。
       --strict-comments          用嚴(yán)格方式 (SGML) 處理 HTML 注釋。

遞歸接受/拒絕:

  -A,  --accept=列表               逗號分隔的可接受的擴(kuò)展名列表
  -R,  --reject=列表               逗號分隔的要拒絕的擴(kuò)展名列表
       --accept-regex=REGEX        匹配接受的 URL 的正則表達(dá)式
       --reject-regex=REGEX        匹配拒絕的 URL 的正則表達(dá)式
       --regex-type=類型           正則類型 (posix|pcre)
  -D,  --domains=列表              逗號分隔的可接受的域名列表
       --exclude-domains=列表      逗號分隔的要拒絕的域名列表
       --follow-ftp                跟蹤 HTML 文檔中的 FTP 鏈接
       --follow-tags=列表          逗號分隔的跟蹤的 HTML 標(biāo)識列表
       --ignore-tags=列表          逗號分隔的忽略的 HTML 標(biāo)識列表
  -H,  --span-hosts                遞歸時(shí)轉(zhuǎn)向外部主機(jī)
  -L,  --relative                  僅跟蹤相對鏈接
  -I,  --include-directories=列表  允許目錄的列表
       --trust-server-names        使用重定向 URL 的最后一段作為本地文件名
  -X,  --exclude-directories=列表  排除目錄的列表
  -np, --no-parent                 不追溯至父目錄

1篇裁、使用wget下載單個(gè)文件
以下的例子是從網(wǎng)絡(luò)下載一個(gè)文件并保存在當(dāng)前目錄

wget http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

在下載的過程中會顯示進(jìn)度條沛慢,包含(下載完成百分比,已經(jīng)下載的字節(jié)达布,當(dāng)前下載速度团甲,剩余下載時(shí)間)。

2往枣、使用wget -O下載并以不同的文件名保存
wget默認(rèn)會以最后一個(gè)符合”/”的后面的字符來命令伐庭,對于動態(tài)鏈接的下載通常文件名會不正確。
錯(cuò)誤:下面的例子會下載一個(gè)文件并以名稱download.php?id=1080保存

wget http://www.centos.bz/download?id=1

即使下載的文件是zip格式分冈,它仍然以download.php?id=1080命令圾另。
正確:為了解決這個(gè)問題,我們可以使用參數(shù)-O來指定一個(gè)文件名:

wget -O wordpress.zip http://www.centos.bz/download.php?id=1080

3雕沉、使用wget –limit -rate限速下載
當(dāng)你執(zhí)行wget的時(shí)候集乔,它默認(rèn)會占用全部可能的寬帶下載。但是當(dāng)你準(zhǔn)備下載一個(gè)大文件坡椒,而你還需要下載其它文件時(shí)就有必要限速了扰路。

wget –limit-rate=300k http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

4、使用wget -c斷點(diǎn)續(xù)傳
使用wget -c重新啟動下載中斷的文件:

wget -c http://cn.wordpress.org/wordpress-3.1-zh_CN.zip

對于我們下載大文件時(shí)突然由于網(wǎng)絡(luò)等原因中斷非常有幫助倔叼,我們可以繼續(xù)接著下載而不是重新下載一個(gè)文件汗唱。需要繼續(xù)中斷的下載時(shí)可以使用-c參數(shù)。

5丈攒、使用wget -b后臺下載
對于下載非常大的文件的時(shí)候哩罪,我們可以使用參數(shù)-b進(jìn)行后臺下載。

wget -b http://cn.wordpress.org/wordpress-3.1-zh_CN.zip
Continuing in background, pid 1840. 
Output will be written to `wget-log’. 

你可以使用以下命令來察看下載進(jìn)度

tail -f wget-log

6巡验、偽裝代理名稱下載
有些網(wǎng)站能通過根據(jù)判斷代理名稱不是瀏覽器而拒絕你的下載請求际插。不過你可以通過–user-agent參數(shù)偽裝。

wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ 下載鏈接 

7显设、使用wget –spider測試下載鏈接
當(dāng)你打算進(jìn)行定時(shí)下載框弛,你應(yīng)該在預(yù)定時(shí)間測試下載鏈接是否有效。我們可以增加–spider參數(shù)進(jìn)行檢查捕捂。

wget –spider URL 

如果下載鏈接正確瑟枫,將會顯示

wget –spider URL 
Spider mode enabled. Check if remote file exists. 
HTTP request sent, awaiting response… 200 OK 
Length: unspecified [text/html] 
Remote file exists and could contain further links, 
but recursion is disabled — not retrieving. 

這保證了下載能在預(yù)定的時(shí)間進(jìn)行,但當(dāng)你給錯(cuò)了一個(gè)鏈接绞蹦,將會顯示如下錯(cuò)誤

wget –spider url 
Spider mode enabled. Check if remote file exists. 
HTTP request sent, awaiting response… 404 Not Found 
Remote file does not exist — broken link!!! 

你可以在以下幾種情況下使用spider參數(shù):
定時(shí)下載之前進(jìn)行檢查
間隔檢測網(wǎng)站是否可用
檢查網(wǎng)站頁面的死鏈接

8力奋、使用wget –tries增加重試次數(shù)
如果網(wǎng)絡(luò)有問題或下載一個(gè)大文件也有可能失敗。wget默認(rèn)重試20次連接下載文件幽七。如果需要景殷,你可以使用–tries增加重試次數(shù)。

wget –tries=40 URL 

9澡屡、使用wget -i下載多個(gè)文件
首先猿挚,保存一份下載鏈接文件

cat > filelist.txt 
url1 
url2 
url3 
url4 

接著使用這個(gè)文件和參數(shù)-i下載

wget -i filelist.txt 

10、使用wget –mirror鏡像網(wǎng)站
下面的例子是下載整個(gè)網(wǎng)站到本地驶鹉。

wget –mirror -p –convert-links -P ./LOCAL URL 
–miror:開戶鏡像下載 
-p:下載所有為了html頁面顯示正常的文件 
–convert-links:下載后绩蜻,轉(zhuǎn)換成本地的鏈接 
-P ./LOCAL:保存所有文件和目錄到本地指定目錄 

11、使用wget –reject過濾指定格式下載
你想下載一個(gè)網(wǎng)站室埋,但你不希望下載圖片办绝,你可以使用以下命令伊约。

wget –reject=gif url 

12、使用wget -o把下載信息存入日志文件
你不希望下載信息直接顯示在終端而是在一個(gè)日志文件孕蝉,可以使用以下命令:

wget -o download.log URL 

13屡律、使用wget -Q限制總下載文件大小
當(dāng)你想要下載的文件超過5M而退出下載,你可以使用以下命令:

wget -Q5m -i filelist.txt 

注意:這個(gè)參數(shù)對單個(gè)文件下載不起作用降淮,只能遞歸下載時(shí)才有效超埋。

14、使用wget -r -A下載指定格式文件
可以在以下情況使用該功能

下載一個(gè)網(wǎng)站的所有圖片
下載一個(gè)網(wǎng)站的所有視頻
下載一個(gè)網(wǎng)站的所有PDF文件

wget -r -A.pdf url 

15佳鳖、使用wget FTP下載
你可以使用wget來完成ftp鏈接的下載霍殴。
使用wget匿名ftp下載

wget ftp-url 

使用wget用戶名和密碼認(rèn)證的ftp下載

wget –ftp-user=USERNAME –ftp-password=PASSWORD url

wget是在Linux下開發(fā)的開放源代碼的軟件,作者是Hrvoje Niksic系吩,后來被移植到包括Windows在內(nèi)的各個(gè)平臺上来庭。它有以下功能和特點(diǎn):
(1)支持?jǐn)帱c(diǎn)下傳功能;這一點(diǎn)穿挨,也是網(wǎng)絡(luò)螞蟻和FlashGet當(dāng)年最大的賣點(diǎn)巾腕,現(xiàn)在,Wget也可以使用此功能絮蒿,那些網(wǎng)絡(luò)不是太好的用戶可以放心了尊搬;
(2)同時(shí)支持FTP和HTTP下載方式;盡管現(xiàn)在大部分軟件可以使用HTTP方式下載土涝,但是佛寿,有些時(shí)候,仍然需要使用FTP方式下載軟件但壮;
(3)支持代理服務(wù)器冀泻;對安全強(qiáng)度很高的系統(tǒng)而言,一般不會將自己的系統(tǒng)直接暴露在互聯(lián)網(wǎng)上蜡饵,所以弹渔,支持代理是下載軟件必須有的功能;
(4)設(shè)置方便簡單溯祸;可能肢专,習(xí)慣圖形界面的用戶已經(jīng)不是太習(xí)慣命令行了,但是焦辅,命令行在設(shè)置上其實(shí)有更多的優(yōu)點(diǎn)博杖,最少,鼠標(biāo)可以少點(diǎn)很多次筷登,也不要擔(dān)心是否錯(cuò)點(diǎn)鼠標(biāo)剃根;
(5)程序小,完全免費(fèi)前方;程序小可以考慮不計(jì)狈醉,因?yàn)楝F(xiàn)在的硬盤實(shí)在太大了廉油;完全免費(fèi)就不得不考慮了,即使網(wǎng)絡(luò)上有很多免費(fèi)軟件苗傅,但是娱两,這些軟件的廣告不是我們喜歡的;
wget雖然功能強(qiáng)大金吗,但是使用起來還是比較簡單的,基本的語法是:wget [參數(shù)列表] URL趣竣。下面就結(jié)合具體的例子來說明一下wget的用法摇庙。

1、下載整個(gè)http或者ftp站點(diǎn)遥缕。

wget http://place.your.url/here 

這個(gè)命令可以將http://place.your.url/here 首頁下載下來卫袒。使用-x會強(qiáng)制建立服務(wù)器上一模一樣的目錄,如果使用-nd參數(shù)单匣,那么服務(wù)器上下載的所有內(nèi)容都會加到本地當(dāng)前目錄夕凝。

wget -r http://place.your.url/here 

這 個(gè)命令會按照遞歸的方法,下載服務(wù)器上所有的目錄和文件户秤,實(shí)質(zhì)就是下載整個(gè)網(wǎng)站码秉。這個(gè)命令一定要小心使用,因?yàn)樵谙螺d的時(shí)候鸡号,被下載網(wǎng)站指向的所有地址同 樣會被下載转砖,因此,如果這個(gè)網(wǎng)站引用了其他網(wǎng)站鲸伴,那么被引用的網(wǎng)站也會被下載下來府蔗!基于這個(gè)原因,這個(gè)參數(shù)不常用汞窗⌒粘啵可以用-l number參數(shù)來指定下載的層次。例如只下載兩層仲吏,那么使用-l 2不铆。

要是您想制作鏡像站點(diǎn),那么可以使用-m參數(shù)裹唆,例如:

wget -m http://place.your.url/here 

這時(shí)wget會自動判斷合適的參數(shù)來制作鏡像站點(diǎn)狂男。此時(shí),wget會登錄到服務(wù)器上品腹,讀入robots.txt并按robots.txt的規(guī)定來執(zhí)行岖食。

2、斷點(diǎn)續(xù)傳舞吭。
當(dāng)文件特別大或者網(wǎng)絡(luò)特別慢的時(shí)候泡垃,往往一個(gè)文件還沒有下載完析珊,連接就已經(jīng)被切斷,此時(shí)就需要斷點(diǎn)續(xù)傳蔑穴。wget的斷點(diǎn)續(xù)傳是自動的忠寻,只需要使用-c參數(shù),例如:

wget -c http://the.url.of/incomplete/file 

使用斷點(diǎn)續(xù)傳要求服務(wù)器支持?jǐn)帱c(diǎn)續(xù)傳存和。-t參數(shù)表示重試次數(shù)奕剃,例如需要重試100次,那么就寫-t 100捐腿,如果設(shè)成-t 0纵朋,那么表示無窮次重試,直到連接成功茄袖。-T參數(shù)表示超時(shí)等待時(shí)間操软,例如-T 120,表示等待120秒連接不上就算超時(shí)宪祥。
3聂薪、批量下載。
如果有多個(gè)文件需要下載蝗羊,那么可以生成一個(gè)文件藏澳,把每個(gè)文件的URL寫一行,例如生成文件download.txt耀找,然后用命令:

wget -i download.txt 

這樣就會把download.txt里面列出的每個(gè)URL都下載下來笆载。(如果列的是文件就下載文件,如果列的是網(wǎng)站涯呻,那么下載首頁)
4凉驻、選擇性的下載。
可以指定讓wget只下載一類文件复罐,或者不下載什么文件涝登。例如:

wget -m –reject=gif http://target.web.site/subdirectory 

表示下載http://target.web.site/subdirectory,但是忽略gif文件效诅。–accept=LIST 可以接受的文件類型胀滚,–reject=LIST拒絕接受的文件類型。

5乱投、密碼和認(rèn)證咽笼。
wget只能處理利用用戶名/密碼方式限制訪問的網(wǎng)站,可以利用兩個(gè)參數(shù):

–http-user=USER設(shè)置HTTP用戶 
–http-passwd=PASS設(shè)置HTTP密碼 

對于需要證書做認(rèn)證的網(wǎng)站戚炫,就只能利用其他下載工具了剑刑,例如curl。
6、利用代理服務(wù)器進(jìn)行下載施掏。
如果用戶的網(wǎng)絡(luò)需要經(jīng)過代理服務(wù)器钮惠,那么可以讓wget通過代理服務(wù)器進(jìn)行文件的下載。此時(shí)需要在當(dāng)前用戶的目錄下創(chuàng)建一個(gè).wgetrc文件七芭。文件中可以設(shè)置代理服務(wù)器:

http-proxy = 111.111.111.111:8080 
ftp-proxy = 111.111.111.111:8080 

分別表示http的代理服務(wù)器和ftp的代理服務(wù)器素挽。如果代理服務(wù)器需要密碼則使用:

–proxy-user=USER設(shè)置代理用戶 
–proxy-passwd=PASS設(shè)置代理密碼 

這兩個(gè)參數(shù)。
使用參數(shù)–proxy=on/off 使用或者關(guān)閉代理狸驳。
wget還有很多有用的功能预明,需要用戶去挖掘。
中文文檔名在平常的情況下會被編碼耙箍, 但是在 –cut-dirs 時(shí)又是正常的撰糠,

wget -r -np -nH –cut-dirs=3 ftp://host/test/ 
測試.txt 
wget -r -np -nH -nd ftp://host/test/ 
%B4%FA%B8%D5.txt 
wget “ftp://host/test/*” 
%B4%FA%B8%D5.txt 

由 於不知名的原因,可能是為了避開特殊檔名究西, wget 會自動將抓取檔名的部分用 encode_string 處理過, 所以該 patch 就把被 encode_string 處理成 “%3A” 這種東西物喷, 用 decode_string 還原成 “:”卤材,并套用在目錄與檔案名稱的部分,decode_string 是 wget 內(nèi)建的函式峦失。

wget -t0 -c -nH -x -np -b -m -P /home/sunny/NOD32view/ http://downloads1.kaspersky-labs.com/bases/ -o wget.log

引自:
作者:擒賊先擒王
來源:CSDN
原文:https://blog.csdn.net/freeking101/article/details/53691481
版權(quán)聲明:本文為博主原創(chuàng)文章扇丛,轉(zhuǎn)載請附上博文鏈接

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市尉辑,隨后出現(xiàn)的幾起案子帆精,更是在濱河造成了極大的恐慌,老刑警劉巖隧魄,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件卓练,死亡現(xiàn)場離奇詭異,居然都是意外死亡购啄,警方通過查閱死者的電腦和手機(jī)襟企,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來狮含,“玉大人顽悼,你說我怎么就攤上這事〖钙” “怎么了蔚龙?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長映胁。 經(jīng)常有香客問我木羹,道長,這世上最難降的妖魔是什么解孙? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任汇跨,我火速辦了婚禮务荆,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘穷遂。我一直安慰自己函匕,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布蚪黑。 她就那樣靜靜地躺著盅惜,像睡著了一般。 火紅的嫁衣襯著肌膚如雪忌穿。 梳的紋絲不亂的頭發(fā)上抒寂,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天,我揣著相機(jī)與錄音掠剑,去河邊找鬼屈芜。 笑死,一個(gè)胖子當(dāng)著我的面吹牛朴译,可吹牛的內(nèi)容都是我干的井佑。 我是一名探鬼主播,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼眠寿,長吁一口氣:“原來是場噩夢啊……” “哼躬翁!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起盯拱,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤盒发,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后狡逢,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體宁舰,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年奢浑,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了明吩。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,785評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡殷费,死狀恐怖印荔,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情详羡,我是刑警寧澤仍律,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站实柠,受9級特大地震影響水泉,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一草则、第九天 我趴在偏房一處隱蔽的房頂上張望钢拧。 院中可真熱鬧,春花似錦炕横、人聲如沸源内。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽膜钓。三九已至,卻和暖如春卿嘲,著一層夾襖步出監(jiān)牢的瞬間颂斜,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工拾枣, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留沃疮,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓梅肤,卻偏偏與公主長得像司蔬,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子凭语,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理葱她,服務(wù)發(fā)現(xiàn)撩扒,斷路器似扔,智...
    卡卡羅2017閱讀 134,654評論 18 139
  • 系統(tǒng)管理與維護(hù)命令 date date(選項(xiàng))(參數(shù)) | 選項(xiàng) | 說明 | | :-------- | ...
    蓓蓓的萬能男友閱讀 3,896評論 0 5
  • 一 wget簡介 wget是linux上的命令行的下載工具。這是一個(gè)GPL許可證下的自由軟件搓谆。wget支持HTTP...
    JeffYU閱讀 111,268評論 0 15
  • Ubuntu的發(fā)音 Ubuntu,源于非洲祖魯人和科薩人的語言斩萌,發(fā)作 oo-boon-too 的音缝裤。了解發(fā)音是有意...
    螢火蟲de夢閱讀 99,260評論 9 467
  • 課前電話沒做成,內(nèi)心沒有特別的感受颊郎,不是說沒做成可以偷會懶的竊喜憋飞,很多時(shí)候就是這樣并不是你做好十足的準(zhǔn)備別人就一定...
    Hi_張閱讀 119評論 0 0