CURL -- 命令行瀏覽器

  1. 二話不說(shuō)抗愁,先從這里開(kāi)始吧闸餐!

    curl http://www.yahoo.com
    

回車之后茬高,www.yahoo.com 的html就稀里嘩啦地顯示在屏幕上了~~~~~

  1. 嗯,要想把讀過(guò)來(lái)頁(yè)面存下來(lái)吧凉,是不是要這樣呢隧出?

    curl http://www.yahoo.com > page.html
    

當(dāng)然可以,但不用這么麻煩的阀捅!
用curl的內(nèi)置option就好胀瞪,存下http的結(jié)果,用這個(gè)option: -o

   curl -o page.html http://www.yahoo.com

這樣饲鄙,你就可以看到屏幕上出現(xiàn)一個(gè)下載頁(yè)面進(jìn)度指示凄诞。等進(jìn)展到100%,自然就OK咯

  1. 什么什么忍级?帆谍!訪問(wèn)不到?肯定是你的proxy沒(méi)有設(shè)定了轴咱。
    使用curl的時(shí)候汛蝙,用這個(gè)option可以指定http訪問(wèn)所使用的proxy服務(wù)器及其端口: -x

    curl -x 123.45.67.89:1080 -o page.html http://www.yahoo.com
    
  2. 訪問(wèn)有些網(wǎng)站的時(shí)候比較討厭,他使用cookie來(lái)記錄session信息朴肺。
    像IE/NN這樣的瀏覽器窖剑,當(dāng)然可以輕易處理cookie信息,但我們的curl呢戈稿?
    我們來(lái)學(xué)習(xí)這個(gè)option: -D <-- 這個(gè)是把http的response里面的cookie信息存到一個(gè)特別的文件中去

    curl -x 123.45.67.89:1080 -o page.html -D
    cookie0001.txt http://www.yahoo.com
    

這樣西土,當(dāng)頁(yè)面被存到page.html的同時(shí),cookie信息也被存到了cookie0001.txt里面了

  1. 那么鞍盗,下一次訪問(wèn)的時(shí)候需了,如何繼續(xù)使用上次留下的cookie信息呢?要知道橡疼,很多網(wǎng)站都是靠監(jiān)視你的cookie信息援所,
    來(lái)判斷你是不是不按規(guī)矩訪問(wèn)他們的網(wǎng)站的。
    這次我們使用這個(gè)option來(lái)把上次的cookie信息追加到http request里面去: -b

     curl -x 123.45.67.89:1080 -o page1.html -D
     cookie0002.txt -b cookie0001.txt http://www.yahoo.com
    

這樣欣除,我們就可以幾乎模擬所有的IE操作住拭,去訪問(wèn)網(wǎng)頁(yè)了!

  1. 瀏覽器信息
    有些討厭的網(wǎng)站總要我們使用某些特定的瀏覽器去訪問(wèn)他們历帚,有時(shí)候更過(guò)分的是滔岳,還要使用某些特定的版本,哪里有時(shí)間為了它去找這些怪異的瀏覽器呢M炖巍谱煤?
    好在curl給我們提供了一個(gè)有用的option,可以讓我們隨意指定自己這次訪問(wèn)所宣稱的自己的瀏覽器信息: -A

    curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x
    123.45.67.89:1080 -o page.html -D cookie0001.txt   
    http://www.yahoo.com
    

這樣禽拔,服務(wù)器端接到訪問(wèn)的要求刘离,會(huì)認(rèn)為你是一個(gè)運(yùn)行在Windows 2000上的IE6.0室叉,嘿嘿嘿,其實(shí)也許你用的是蘋(píng)果機(jī)呢硫惕!

而"Mozilla/4.73 [en] (X11; U; Linux 2.2; 15 i686"則可以告訴對(duì)方你是一臺(tái)PC上跑著的Linux茧痕,用的是Netscape 4.73

  1. 另外一個(gè)服務(wù)器端常用的限制方法,就是檢查http訪問(wèn)的referer恼除。
    比如你先訪問(wèn)首頁(yè)踪旷,再訪問(wèn)里面所指定的下載頁(yè),這第二次訪問(wèn)的referer地 址就是第一次訪問(wèn)成功后的頁(yè)面地址豁辉。
    這樣令野,服務(wù)器端只要發(fā)現(xiàn)對(duì)下載頁(yè)面某次訪問(wèn)的referer地址不 是首頁(yè)的地址,就可以斷定那是個(gè)盜連了.
    curl給我們提供了設(shè)定referer的option: -e

    curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" 
    -x 123.45.67.89:1080 -e "mail.yahoo.com" 
    -o page.html -D cookie0001.txt http://www.yahoo.com
    

這樣徽级,就可以騙對(duì)方的服務(wù)器气破,你是從mail.yahoo.com點(diǎn)擊某個(gè)鏈接過(guò)來(lái)的了

  1. 利用curl 下載文件
    下載頁(yè)面到一個(gè)文件里,可以使用 -o灰追,下載文件也是一樣堵幽。
    比如:

    curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG
    

這里有一個(gè)新的option: -O
大寫(xiě)的O:

   curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG

這樣,就可以按照服務(wù)器上的文件名弹澎,自動(dòng)存在本地了朴下!

如果screen1.JPG以外還有screen2.JPG、screen3.JPG苦蒿、....殴胧、screen10.JPG需要下載:

   curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG
  1. 上傳的option是 -T
    向ftp傳一個(gè)文件:

    curl -T localfile -u name:passwd ftp://upload_site:port/path/
    

當(dāng)然,向http服務(wù)器上傳文件也可以,比如

   curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi

注意佩迟,這時(shí)候团滥,使用的協(xié)議是HTTP的PUT method
http提交一個(gè)表單,比較常用的是POST模式和GET模式
GET模式什么option都不用报强,只需要把變量寫(xiě)在url里面就可以了
比如:

   curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345

而POST模式的option則是 -d

比如灸姊,

   curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi

一點(diǎn)需要注意的是,POST模式下的文件上的文件上傳秉溉,比如

   <form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi">

     <input type=file name=upload>

     <input type=submit name=nick value="go">

   </form>

這樣一個(gè)HTTP表單力惯,我們要用curl進(jìn)行模擬,就該是這樣的語(yǔ)法:

   curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末召嘶,一起剝皮案震驚了整個(gè)濱河市父晶,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌弄跌,老刑警劉巖甲喝,帶你破解...
    沈念sama閱讀 216,591評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異铛只,居然都是意外死亡埠胖,警方通過(guò)查閱死者的電腦和手機(jī)糠溜,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)押袍,“玉大人诵冒,你說(shuō)我怎么就攤上這事凯肋∫瓴眩” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,823評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵侮东,是天一觀的道長(zhǎng)圈盔。 經(jīng)常有香客問(wèn)我,道長(zhǎng)悄雅,這世上最難降的妖魔是什么驱敲? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,204評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮宽闲,結(jié)果婚禮上众眨,老公的妹妹穿的比我還像新娘。我一直安慰自己容诬,他們只是感情好娩梨,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,228評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著览徒,像睡著了一般狈定。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上习蓬,一...
    開(kāi)封第一講書(shū)人閱讀 51,190評(píng)論 1 299
  • 那天纽什,我揣著相機(jī)與錄音,去河邊找鬼躲叼。 笑死芦缰,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的枫慷。 我是一名探鬼主播让蕾,決...
    沈念sama閱讀 40,078評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼流礁!你這毒婦竟也來(lái)了涕俗?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 38,923評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤神帅,失蹤者是張志新(化名)和其女友劉穎再姑,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體找御,經(jīng)...
    沈念sama閱讀 45,334評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡元镀,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,550評(píng)論 2 333
  • 正文 我和宋清朗相戀三年绍填,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片栖疑。...
    茶點(diǎn)故事閱讀 39,727評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡讨永,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出遇革,到底是詐尸還是另有隱情卿闹,我是刑警寧澤,帶...
    沈念sama閱讀 35,428評(píng)論 5 343
  • 正文 年R本政府宣布萝快,位于F島的核電站锻霎,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏揪漩。R本人自食惡果不足惜旋恼,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,022評(píng)論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望奄容。 院中可真熱鬧冰更,春花似錦、人聲如沸昂勒。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,672評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)叁怪。三九已至审葬,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間奕谭,已是汗流浹背涣觉。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,826評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留血柳,地道東北人官册。 一個(gè)月前我還...
    沈念sama閱讀 47,734評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像难捌,于是被迫代替她去往敵國(guó)和親膝宁。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,619評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • CURL? 嗯根吁,說(shuō)來(lái)話長(zhǎng)了~~~~ 這東西現(xiàn)在已經(jīng)是蘋(píng)果機(jī)上內(nèi)置的命令行工具之一了员淫,可見(jiàn)其魅力之一斑 1) 二話不...
    bingo居然被占了閱讀 785評(píng)論 0 7
  • 轉(zhuǎn)載自:http://www.cnblogs.com/txw1958/archive/2013/01/19/286...
    php_bruce閱讀 2,267評(píng)論 1 5
  • everyday:linux curl [TOC] 功能說(shuō)明 curl 是一個(gè)功能強(qiáng)大的網(wǎng)絡(luò)工具,能夠通過(guò) htt...
    并肩走天涯閱讀 2,491評(píng)論 0 9
  • curl是Linux下一個(gè)很強(qiáng)大的http命令行工具击敌,其功能十分強(qiáng)大介返。 二話不說(shuō),先從這里開(kāi)始吧! 回車之后圣蝎,ww...
    Aieru閱讀 424評(píng)論 1 0
  • 因?yàn)樽罱拥叫枨笠霭俣热邢⒏叩潞万v訊地圖的喚起跳轉(zhuǎn)到步行的路線規(guī)劃操作,故做一下總結(jié) 百度地圖官方URL API地...
    旅旅人閱讀 4,609評(píng)論 2 10