[TOC]
常用參數(shù)
參數(shù) | 描述 |
---|---|
-I/--head | 只顯示傳輸文檔前弯,經(jīng)常用于測試連接本身 |
-o/--output | 把輸出寫到該文件中荣德,必須輸入保存文件名 |
-O/--remote-name | 把輸出寫到該文件中漓拾,保留遠程文件的文件名 |
-F/--form | 模擬表單提交 |
-s/--silent | 靜默模式幅垮,不輸出任何東西 |
-S/--show-error | 顯示錯誤,在選項 -s 中富拗,當(dāng) curl 出現(xiàn)錯誤時將顯示 |
-L/--location | 跟蹤重定向 |
-f/--fail | 不輸出錯誤 |
-n/--netrc | 從netrc文件中讀取用戶名和密碼 |
--netrc-optional | 使用 .netrc 或者 URL來覆蓋-n |
--ntlm | 使用 HTTP NTLM 身份驗證 |
-N/--no-buffer | 禁用緩沖輸出 |
-p/--proxytunnel | 使用HTTP代理 |
--proxy-anyauth | 選擇任一代理身份驗證方法 |
--proxy-basic | 在代理上使用基本身份驗證 |
--proxy-digest | 在代理上使用數(shù)字身份驗證 |
--proxy-ntlm | 在代理上使用ntlm身份驗證 |
-P/--ftp-port | 使用端口地址楔脯,而不是使用PASV |
-M/--manual | 顯示全手動 |
-Q/--quote | 文件傳輸前撩轰,發(fā)送命令到服務(wù)器 |
-r/--range | 檢索來自HTTP/1.1或FTP服務(wù)器字節(jié)范圍 |
--range-file | 讀取(SSL)的隨機文件 |
-R/--remote-time | 在本地生成文件時昧廷,保留遠程文件時間 |
--retry | 傳輸出現(xiàn)問題時堪嫂,重試的次數(shù) |
--retry-delay | 傳輸出現(xiàn)問題時,設(shè)置重試間隔時間 |
--retry-max-time | 傳輸出現(xiàn)問題時木柬,設(shè)置最大重試時間 |
--socks4 | 用socks4代理給定主機和端口 |
--socks5 | 用socks5代理給定主機和端口 |
-t/--telnet-option | Telnet選項設(shè)置 |
--trace | 對指定文件進行debug |
--trace-ascii Like | 跟蹤但沒有hex輸出 |
--trace-time 跟蹤/ | 詳細輸出時皆串,添加時間戳 |
-T/--upload-file | 上傳文件 |
-u/--user | 設(shè)置服務(wù)器的用戶和密碼 |
-U/--proxy-user | 設(shè)置代理用戶名和密碼 |
-V/--version | 顯示版本信息 |
-w/--write-out [format] | 什么輸出完成后 |
-x/--proxy | 在給定的端口上使用HTTP代理 |
-X/--request | 指定什么命令 |
-y/--speed-time | 放棄限速所要的時間。默認為30 |
-Y/--speed-limit | 停止傳輸速度的限制眉枕,速度時間'秒 |
-z/--time-cond | 傳送時間設(shè)置 |
-0/--http1.0 | 使用HTTP 1.0 |
-1/--tlsv1 | 使用TLSv1(SSL) |
-2/--sslv2 | 使用SSLv2的(SSL) |
-3/--sslv3 | 使用的SSLv3(SSL) |
--3p-quote | like -Q for the source URL for 3rd party transfer |
--3p-url | 使用url恶复,進行第三方傳送 |
--3p-user | 使用用戶名和密碼,進行第三方傳送 |
-4/--ipv4 | 使用IP4 |
-6/--ipv6 | 使用IP6 |
-#/--progress-bar | 用進度條顯示當(dāng)前的傳送狀態(tài) |
常用參數(shù)分類
# 調(diào)試類
-v, --verbose 輸出信息
-q, --disable 在第一個參數(shù)位置設(shè)置后 .curlrc 的設(shè)置直接失效速挑,這個參數(shù)會影響到 -K, --config -A, --user-agent -e, --referer
-K, --config FILE 指定配置文件
-L, --location 跟蹤重定向 (H)
# CLI顯示設(shè)置
-s, --silent Silent模式谤牡。不輸出任務(wù)內(nèi)容
-S, --show-error 顯示錯誤. 在選項 -s 中,當(dāng) curl 出現(xiàn)錯誤時將顯示
-f, --fail 不顯示 連接失敗時HTTP錯誤信息
-i, --include 顯示 response的header (H/F)
-I, --head 僅顯示 響應(yīng)文檔頭
-l, --list-only 只列出FTP目錄的名稱 (F)
-#, --progress-bar 以進度條 顯示傳輸進度
# 數(shù)據(jù)傳輸類
-X, --request [GET|POST|PUT|DELETE|…] 使用指定的 http method 例如 -X POST
-H, --header <header> 設(shè)定 request里的header 例如 -H "Content-Type: application/json"
-e, --referer 設(shè)定 referer (H)
-d, --data <data> 設(shè)定 http body 默認使用 content-type application/x-www-form-urlencoded (H)
--data-raw <data> ASCII 編碼 HTTP POST 數(shù)據(jù) (H)
--data-binary <data> binary 編碼 HTTP POST 數(shù)據(jù) (H)
--data-urlencode <data> url 編碼 HTTP POST 數(shù)據(jù) (H)
-G, --get 使用 HTTP GET 方法發(fā)送 -d 數(shù)據(jù) (H)
-F, --form <name=string> 模擬 HTTP 表單數(shù)據(jù)提交 multipart POST (H)
--form-string <name=string> 模擬 HTTP 表單數(shù)據(jù)提交 (H)
-u, --user <user:password> 使用帳戶姥宝,密碼 例如 admin:password
-b, --cookie <data> cookie 文件 (H)
-j, --junk-session-cookies 讀取文件中但忽略會話cookie (H)
-A, --user-agent user-agent設(shè)置 (H)
# 傳輸設(shè)置
-C, --continue-at OFFSET 斷點續(xù)轉(zhuǎn)
-x, --proxy [PROTOCOL://]HOST[:PORT] 在指定的端口上使用代理
-U, --proxy-user USER[:PASSWORD] 代理用戶名及密碼
# 文件操作
-T, --upload-file <file> 上傳文件
-a, --append 添加要上傳的文件 (F/SFTP)
# 輸出設(shè)置
-o, --output <file> 將輸出寫入文件翅萤,而非 stdout
-O, --remote-name 將輸出寫入遠程文件
-D, --dump-header <file> 將頭信息寫入指定的文件
-c, --cookie-jar <file> 操作結(jié)束后,要寫入 Cookies 的文件位置
常用curl實例
抓取頁面內(nèi)容到一個文件中
curl -o home.html http://www.sina.com.cn
用
-O(大寫的)
腊满,后面的url要具體到某個文件套么,不然抓不下來。我們還可以用正則來抓取東西
curl -O http://www.mydomain.com/linux/index.html
模擬用戶登錄
# 此參數(shù)相當(dāng)于設(shè)置http頭 Authorization:
curl --user user:password http://blog.mydomain.com/login.php
# 使用用戶名碳蛋、密碼認證胚泌,此參數(shù)會覆蓋“-n”、“--netrc”和“--netrc-optional”選項
模擬表單信息疮蹦,模擬登錄,保存cookie信息
curl -c ./cookie_c.txt -F log=aaaa -F pwd=****** http://blog.mydomain.com/login.php
模擬表單信息茸炒,模擬登錄愕乎,保存頭信息
curl -D ./cookie_D.txt -F log=aaaa -F pwd=****** http://blog.mydomain.com/login.php
-c(小寫)
產(chǎn)生的cookie和-D里面的cookie是不一樣的
使用cookie文件
curl -b ./cookie_c.txt http://blog.mydomain.com/wp-admin
斷點續(xù)傳阵苇,-C(大寫的)
curl -C -O http://www.sina.com.cn
傳送數(shù)據(jù)
最好用登錄頁面測試,因為你傳值過去后感论,回抓數(shù)據(jù)绅项,你可以看到你傳值有沒有成功
curl -d log=aaaa http://blog.mydomain.com/login.php
顯示抓取錯誤 -f
curl -f http://www.sina.com.cn/asdf
curl: (22) The requested URL returned error: 404
curl http://www.sina.com.cn/asdf
偽造來源地址,有的網(wǎng)站會判斷比肄,請求來源地址-e
curl -e http://localhost http://www.sina.com.cn
當(dāng)我們經(jīng)常用curl去搞人家東西的時候快耿,人家會把你的IP給屏蔽掉的,這個時候,我們可以用代理
curl -x 10.10.90.83:80 -o home.html http://www.sina.com.cn
比較大的東西,我們可以分段下載
curl -r 0-100 -o img.part1 http://mydomian.cn/thumb/xxx.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 101 100 101 0 0 1926 0 --:--:-- --:--:-- --:--:-- 0
curl -r 100-200 -o img.part2 http://mydomian.cn/thumb/xxx.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 101 100 101 0 0 3498 0 --:--:-- --:--:-- --:--:-- 98k
curl -r 200- -o img.part3 http://mydomian.cn/thumb/xxx.jpg
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 13515 100 13515 0 0 154k 0 --:--:-- --:--:-- --:--:-- 280k
ll |grep img.part
用的時候芳绩,把他們cat一下就OK了,cat img.part* >img.jpg
不顯示下載進度信息 -s
curl -s -o aaa.jpg
顯示下載進度條 -#
curl -# -O http://www.mydomain.com/linux/25002_3.html
######################################################################## 100.0%
通過ftp下載文件
curl -u 用戶名:密碼 -O http://blog.mydomain.com/demo/curtain/bbstudy_files/style.css
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
101 1934 101 1934 0 0 3184 0 --:--:-- --:--:-- --:--:-- 7136
或者用下面的方式
curl -O ftp://xukai:test@192.168.242.144:21/www/focus/enhouse/index.php
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 87518 100 87518 0 0 2312k 0 --:--:-- --:--:-- --:--:-- 11.5M
通過ftp上傳
curl -T xukai.php ftp://xukai:test@192.168.242.144:21/www/focus/enhouse/
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 87518 0 0 100 87518 0 2040k --:--:-- --:--:-- --:--:-- 8901k
用法收集
快速用法(配合sed/awk/grep)
$curl http: //mydomain.net
下載保存
$curl http://mydomain.net > index.html
$curl -o index.html http://mydomain.net
$curl -O http://mydomain.net/target.tar.gz
GET
$curl http://www.yahoo.com/login.cgi?user=nickname&password=12345
POST
$curl -d "user=nickname&password=12345" http://www.yahoo.com/login.cgi
POST 文件
$curl -F upload= $localfile -F $btn_name=$btn_value http://mydomain.net/~zzh/up_file.cgi
通過代理
$curl -x 123.45.67.89:1080 -o page.html http://mydomain.net
保存cookie
$curl -x 123.45.67.89:1080 -o page1.html -D cookie0001.txt http://mydomain.net
使用cookie
$curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://mydomain.net
模仿瀏覽器
$curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x123.45.67.89:1080 -o page.html -D cookie0001.txt http://mydomain.net
偽造referer
$curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x123.45.67.89:1080 -e"mail.yahoo.com" -o page.html -D cookie0001.txt http://mydomain.net
高級下載功能
循環(huán)下載
$curl -O http://mydomain.net/~zzh/screen[1-10].JPG
循環(huán)(匹配)下載
$curl -O http://mydomain.net/~{zzh,nick}/[001-201].JPG # >like zzh/001.JPG
循環(huán)(引用)下載
$curl -o #2_#1.jpg http://mydomain.net/~{zzh,nick}/[001-201].JPG # like >001_zzh.jpg
斷點續(xù)傳
$curl -c -O http://mydomain.net/~zzh/screen1.JPG
分塊下載
$curl -r 0 -10240 -o "zhao.part1" http://mydomain.net/~zzh/zhao1.mp3 &\
$curl -r 10241 -20480 -o "zhao.part1" http://mydomain.net/~zzh/zhao1.mp3 &\
$curl -r 20481 -40960 -o "zhao.part1" http://mydomain.net/~zzh/zhao1.mp3 &\
$curl -r 40961 - -o "zhao.part1" http://mydomain.net/~zzh/zhao1.mp3
...
$cat zhao.part* > zhao.mp3
curl語法及選項
curl(7.29.0)所支持的選項(options)參數(shù)如下
在以下選項中掀亥,(H) 表示僅適用 HTTP/HTTPS ,(F) 表示僅適用于 FTP
--anyauth 選擇 "any" 認證方法 (H)
-a, --append 添加要上傳的文件 (F/SFTP)
--basic 使用HTTP基礎(chǔ)認證(Basic Authentication)(H)
--cacert FILE CA 證書妥色,用于每次請求認證 (SSL)
--capath DIR CA 證書目錄 (SSL)
-E, --cert CERT[:PASSWD] 客戶端證書文件及密碼 (SSL)
--cert-type TYPE 證書文件類型 (DER/PEM/ENG) (SSL)
--ciphers LIST SSL 秘鑰 (SSL)
--compressed 請求壓縮 (使用 deflate 或 gzip)
-K, --config FILE 指定配置文件
--connect-timeout SECONDS 連接超時設(shè)置
-C, --continue-at OFFSET 斷點續(xù)轉(zhuǎn)
-b, --cookie STRING/FILE Cookies字符串或讀取Cookies的文件位置 (H)
-c, --cookie-jar FILE 操作結(jié)束后搪花,要寫入 Cookies 的文件位置 (H)
--create-dirs 創(chuàng)建必要的本地目錄層次結(jié)構(gòu)
--crlf 在上傳時將 LF 轉(zhuǎn)寫為 CRLF
--crlfile FILE 從指定的文件獲得PEM格式CRL列表
-d, --data DATA HTTP POST 數(shù)據(jù) (H)
--data-ascii DATA ASCII 編碼 HTTP POST 數(shù)據(jù) (H)
--data-binary DATA binary 編碼 HTTP POST 數(shù)據(jù) (H)
--data-urlencode DATA url 編碼 HTTP POST 數(shù)據(jù) (H)
--delegation STRING GSS-API 委托權(quán)限
--digest 使用數(shù)字身份驗證 (H)
--disable-eprt 禁止使用 EPRT 或 LPRT (F)
--disable-epsv 禁止使用 EPSV (F)
-D, --dump-header FILE 將頭信息寫入指定的文件
--egd-file FILE 為隨機數(shù)據(jù)設(shè)置EGD socket路徑(SSL)
--engine ENGINGE 加密引擎 (SSL). "--engine list" 指定列表
-f, --fail 連接失敗時不顯示HTTP錯誤信息 (H)
-F, --form CONTENT 模擬 HTTP 表單數(shù)據(jù)提交(multipart POST) (H)
--form-string STRING 模擬 HTTP 表單數(shù)據(jù)提交 (H)
--ftp-account DATA 帳戶數(shù)據(jù)提交 (F)
--ftp-alternative-to-user COMMAND 指定替換 "USER [name]" 的字符串 (F)
--ftp-create-dirs 如果不存在則創(chuàng)建遠程目錄 (F)
--ftp-method [MULTICWD/NOCWD/SINGLECWD] 控制 CWD (F)
--ftp-pasv 使用 PASV/EPSV 替換 PORT (F)
-P, --ftp-port ADR 使用指定 PORT 及地址替換 PASV (F)
--ftp-skip-pasv-ip 跳過 PASV 的IP地址 (F)
--ftp-pret 在 PASV 之前發(fā)送 PRET (drftpd) (F)
--ftp-ssl-ccc 在認證之后發(fā)送 CCC (F)
--ftp-ssl-ccc-mode ACTIVE/PASSIVE 設(shè)置 CCC 模式 (F)
--ftp-ssl-control ftp 登錄時需要 SSL/TLS (F)
-G, --get 使用 HTTP GET 方法發(fā)送 -d 數(shù)據(jù) (H)
-g, --globoff 禁用的 URL 隊列 及范圍使用 {} 和 []
-H, --header LINE 要發(fā)送到服務(wù)端的自定義請求頭 (H)
-I, --head 僅顯示響應(yīng)文檔頭
-h, --help 顯示幫助
-0, --http1.0 使用 HTTP 1.0 (H)
--ignore-content-length 忽略 HTTP Content-Length 頭
-i, --include 在輸出中包含協(xié)議頭 (H/F)
-k, --insecure 允許連接到 SSL 站點,而不使用證書 (H)
--interface INTERFACE 指定網(wǎng)絡(luò)接口/地址
-4, --ipv4 將域名解析為 IPv4 地址
-6, --ipv6 將域名解析為 IPv6 地址
-j, --junk-session-cookies 讀取文件中但忽略會話cookie (H)
--keepalive-time SECONDS keepalive 包間隔
--key KEY 私鑰文件名 (SSL/SSH)
--key-type TYPE 私鑰文件類型 (DER/PEM/ENG) (SSL)
--krb LEVEL 啟用指定安全級別的 Kerberos (F)
--libcurl FILE 命令的libcurl等價代碼
--limit-rate RATE 限制傳輸速度
-l, --list-only 只列出FTP目錄的名稱 (F)
--local-port RANGE 強制使用的本地端口號
-L, --location 跟蹤重定向 (H)
--location-trusted 類似 --location 并發(fā)送驗證信息到其它主機 (H)
-M, --manual 顯示全手動
--mail-from FROM 從這個地址發(fā)送郵件
--mail-rcpt TO 發(fā)送郵件到這個接收人(s)
--mail-auth AUTH 原始電子郵件的起始地址
--max-filesize BYTES 下載的最大文件大小 (H/F)
--max-redirs NUM 最大重定向數(shù) (H)
-m, --max-time SECONDS 允許的最多傳輸時間
--metalink 處理指定的URL上的XML文件
--negotiate 使用 HTTP Negotiate 認證 (H)
-n, --netrc 必須從 .netrc 文件讀取用戶名和密碼
--netrc-optional 使用 .netrc 或 URL; 將重寫 -n 參數(shù)
--netrc-file FILE 設(shè)置要使用的 netrc 文件名
-N, --no-buffer 禁用輸出流的緩存
--no-keepalive 禁用 connection 的 keepalive
--no-sessionid 禁止重復(fù)使用 SSL session-ID (SSL)
--noproxy 不使用代理的主機列表
--ntlm 使用 HTTP NTLM 認證 (H)
-o, --output FILE 將輸出寫入文件嘹害,而非 stdout
--pass PASS 傳遞給私鑰的短語 (SSL/SSH)
--post301 在 301 重定向后不要切換為 GET 請求 (H)
--post302 在 302 重定向后不要切換為 GET 請求 (H)
--post303 在 303 重定向后不要切換為 GET 請求 (H)
-#, --progress-bar 以進度條顯示傳輸進度
--proto PROTOCOLS 啟用/禁用 指定的協(xié)議
--proto-redir PROTOCOLS 在重定向上 啟用/禁用 指定的協(xié)議
-x, --proxy [PROTOCOL://]HOST[:PORT] 在指定的端口上使用代理
--proxy-anyauth 在代理上使用 "any" 認證方法 (H)
--proxy-basic 在代理上使用 Basic 認證 (H)
--proxy-digest 在代理上使用 Digest 認證 (H)
--proxy-negotiate 在代理上使用 Negotiate 認證 (H)
--proxy-ntlm 在代理上使用 NTLM 認證 (H)
-U, --proxy-user USER[:PASSWORD] 代理用戶名及密碼
--proxy1.0 HOST[:PORT] 在指定的端口上使用 HTTP/1.0 代理
-p, --proxytunnel 使用HTTP代理 (用于 CONNECT)
--pubkey KEY 公鑰文件名 (SSH)
-Q, --quote CMD 在傳輸開始前向服務(wù)器發(fā)送命令 (F/SFTP)
--random-file FILE 讀取隨機數(shù)據(jù)的文件 (SSL)
-r, --range RANGE 僅檢索范圍內(nèi)的字節(jié)
--raw 使用原始HTTP傳輸撮竿,而不使用編碼 (H)
-e, --referer Referer URL (H)
-J, --remote-header-name 從遠程文件讀取頭信息 (H)
-O, --remote-name 將輸出寫入遠程文件
--remote-name-all 使用所有URL的遠程文件名
-R, --remote-time 將遠程文件的時間設(shè)置在本地輸出上
-X, --request COMMAND 使用指定的請求命令
--resolve HOST:PORT:ADDRESS 將 HOST:PORT 強制解析到 ADDRESS
--retry NUM 出現(xiàn)問題時的重試次數(shù)
--retry-delay SECONDS 重試時的延時時長
--retry-max-time SECONDS 僅在指定時間段內(nèi)重試
-S, --show-error 顯示錯誤. 在選項 -s 中,當(dāng) curl 出現(xiàn)錯誤時將顯示
-s, --silent Silent模式笔呀。不輸出任務(wù)內(nèi)容
--socks4 HOST[:PORT] 在指定的 host + port 上使用 SOCKS4 代理
--socks4a HOST[:PORT] 在指定的 host + port 上使用 SOCKSa 代理
--socks5 HOST[:PORT] 在指定的 host + port 上使用 SOCKS5 代理
--socks5-hostname HOST[:PORT] SOCKS5 代理幢踏,指定用戶名、密碼
--socks5-gssapi-service NAME 為gssapi使用SOCKS5代理服務(wù)名稱
--socks5-gssapi-nec 與NEC Socks5服務(wù)器兼容
-Y, --speed-limit RATE 在指定限速時間之后停止傳輸
-y, --speed-time SECONDS 指定時間之后觸發(fā)限速. 默認 30
--ssl 嘗試 SSL/TLS (FTP, IMAP, POP3, SMTP)
--ssl-reqd 需要 SSL/TLS (FTP, IMAP, POP3, SMTP)
-2, --sslv2 使用 SSLv2 (SSL)
-3, --sslv3 使用 SSLv3 (SSL)
--ssl-allow-beast 允許的安全漏洞许师,提高互操作性(SSL)
--stderr FILE 重定向 stderr 的文件位置. - means stdout
--tcp-nodelay 使用 TCP_NODELAY 選項
-t, --telnet-option OPT=VAL 設(shè)置 telnet 選項
--tftp-blksize VALUE 設(shè)備 TFTP BLKSIZE 選項 (必須 >512)
-z, --time-cond TIME 基于時間條件的傳輸
-1, --tlsv1 使用 => TLSv1 (SSL)
--tlsv1.0 使用 TLSv1.0 (SSL)
--tlsv1.1 使用 TLSv1.1 (SSL)
--tlsv1.2 使用 TLSv1.2 (SSL)
--trace FILE 將 debug 信息寫入指定的文件
--trace-ascii FILE 類似 --trace 但使用16進度輸出
--trace-time 向 trace/verbose 輸出添加時間戳
--tr-encoding 請求壓縮傳輸編碼 (H)
-T, --upload-file FILE 將文件傳輸(上傳)到指定位置
--url URL 指定所使用的 URL
-B, --use-ascii 使用 ASCII/text 傳輸
-u, --user USER[:PASSWORD] 指定服務(wù)器認證用戶名房蝉、密碼
--tlsuser USER TLS 用戶名
--tlspassword STRING TLS 密碼
--tlsauthtype STRING TLS 認證類型 (默認 SRP)
--unix-socket FILE 通過這個 UNIX socket 域連接
-A, --user-agent STRING 要發(fā)送到服務(wù)器的 User-Agent (H)
-v, --verbose 顯示詳細操作信息
-V, --version 顯示版本號并退出
-w, --write-out FORMAT 完成后輸出什么
--xattr 將元數(shù)據(jù)存儲在擴展文件屬性中
-q .curlrc 如果作為第一個參數(shù)無效
引用