自用筆記
curl（文件傳輸工具）
常用參數(shù)如下：
-c似嗤，–cookie-jar：將cookie寫(xiě)入到文件
-b谴麦，–cookie：從文件中讀取cookie
-C套菜，–continue-at：斷點(diǎn)續(xù)傳
-d巨坊，–data：http post方式傳送數(shù)據(jù)
-D，–dump-header：把header信息寫(xiě)入到文件
-F，–from：模擬http表達(dá)提交數(shù)據(jù)
-s，–slient：減少輸出信息
-o常侦，–output：將信息輸出到文件
-O浇冰，–remote-name：按照服務(wù)器上的文件名，存在本地
–l聋亡，–head：僅返回頭部信息
-u肘习，–user[user:pass]：設(shè)置http認(rèn)證用戶和密碼
-T，–upload-file：上傳文件
-e坡倔，–referer：指定引用地址
-x漂佩，–proxy：指定代理服務(wù)器地址和端口
-w，–write-out：輸出指定格式內(nèi)容
–retry：重試次數(shù)
–connect-timeout：指定嘗試連接的最大時(shí)間/s
使用示例：
例1：抓取頁(yè)面到指定文件致讥，如果有亂碼可以使用iconv轉(zhuǎn)碼
curl -o baidu.html www.baidu.com
curl –s –o baidu.html www.baidu.com |iconv -f utf-8 #減少輸出信息
例2：模擬瀏覽器頭（user-agent）
curl -A “Mozilla/4.0 (compatible;MSIE 6.0; Windows NT 5.0)” www.baidu.com
例3：處理重定向頁(yè)面
curl –L http://192.168.1.100/301.php #默認(rèn)curl是不處理重定向
例4：模擬用戶登陸仅仆，保存cookie信息到cookies.txt文件，再使用cookie登陸
curl -c ./cookies.txt -F NAME=user -F PWD=***URL #NAME和PWD是表單屬性不同垢袱，每個(gè)網(wǎng)站基本都不同
curl -b ./cookies.txt –o URL
例5：獲取HTTP響應(yīng)頭headers
curl -I http://www.baidu.com
curl -D ./header.txt http://www.baidu.com #將headers保存到文件中
例6：訪問(wèn)HTTP認(rèn)證頁(yè)面
curl –u user:pass URL
例7：通過(guò)ftp上傳和下載文件
curl -T filename ftp://user:pass@ip/docs #上傳
curl -O ftp://user:pass@ip/filename #下載
wget（文件下載工具）
常用參數(shù)如下：
2.1 啟動(dòng)參數(shù)
-V墓拜，–version：顯示版本號(hào)
-h，–help：查看幫助
-b请契，–background：?jiǎn)?dòng)后轉(zhuǎn)入后臺(tái)執(zhí)行
2.2 日志記錄和輸入文件參數(shù)
-o咳榜，–output-file=file：把記錄寫(xiě)到file文件中
-a，–append-output=file：把記錄追加到file文件中
-i爽锥，–input-file=file：從file讀取url來(lái)下載
2.3 下載參數(shù)
-bind-address=address：指定本地使用地址
-t涌韩，-tries=number：設(shè)置最大嘗試連接次數(shù)
-c，-continue：接著下載沒(méi)有下載完的文件
-O氯夷，-output-document=file：將下載內(nèi)容寫(xiě)入到file文件中
-spider：不下載文件
-T臣樱，-timeout=sec：設(shè)置響應(yīng)超時(shí)時(shí)間
-w，-wait=sec：兩次嘗試之間間隔時(shí)間
–limit-rate=rate：限制下載速率
-progress=type：設(shè)置進(jìn)度條
2.4 目錄參數(shù)
-P腮考，-directory-prefix=prefix：將文件保存到指定目錄
2.5 HTTP參數(shù)
-http-user=user：設(shè)置http用戶名
-http-passwd=pass：設(shè)置http密碼
-U雇毫，–user-agent=agent：偽裝代理
-no-http-keep-alive：關(guān)閉http活動(dòng)鏈接，變成永久鏈接
-cookies=off：不使用cookies
-load-cookies=file：在開(kāi)始會(huì)話前從file文件加載cookies
-save-cookies=file：在會(huì)話結(jié)束將cookies保存到file文件
2.6 FTP參數(shù)
-passive-ftp：默認(rèn)值踩蔚，使用被動(dòng)模式
-active-ftp：使用主動(dòng)模式
2.7 遞歸下載排除參數(shù)
-A棚放，–accept=list：分號(hào)分割被下載擴(kuò)展名的列表
-R，–reject=list：分號(hào)分割不被下載擴(kuò)展名的列表
-D馅闽，–domains=list：分號(hào)分割被下載域的列表
–exclude-domains=list：分號(hào)分割不被下載域的列表
使用示例：
例1：下載單個(gè)文件到當(dāng)前目錄下飘蚯，也可以-P指定下載目錄
wgethttp://nginx.org/download/nginx-1.8.0.tar.gz
例2：對(duì)于網(wǎng)絡(luò)不穩(wěn)定的用戶可以使用-c和–tries參數(shù)，保證下載完成
wget –tries=20 -c http://nginx.org/download/nginx-1.8.0.tar.gz
例3：下載大的文件時(shí)福也，我們可以放到后臺(tái)去下載局骤，這時(shí)會(huì)生成wget-log文件來(lái)保存下載進(jìn)度
wget -b http://nginx.org/download/nginx-1.8.0.tar.gz
例4：可以利用—spider參數(shù)判斷網(wǎng)址是否有效
wget –spider http://nginx.org/download/nginx-1.8.0.tar.gz
例5：自動(dòng)從多個(gè)鏈接下載文件
cat url_list.txt #先創(chuàng)建一個(gè)URL文件
http://nginx.org/download/nginx-1.8.0.tar.gz
http://nginx.org/download/nginx-1.6.3.tar.gz
wget -i url_list.txt
例6：限制下載速度
wget –limit-rate=1m http://nginx.org/download/nginx-1.8.0.tar.gz
例7：登陸ftp下載文件
wget –ftp-user=user –ftp-password=pass ftp://ip/filenam
轉(zhuǎn)載整理：http://www.ttlsa.com/linux/linux-curl-wget/
