python2.* 爬蟲

urlopen一般接受三個參數(shù),它的參數(shù)如下:

urlopen(url,data,timeout)

第一個參數(shù)url即為URL,第二個參數(shù)data是訪問URL時要傳送的數(shù)據(jù)绷柒,第三個timeout是設(shè)置超時時間愚铡。

第二三個參數(shù)是可以不傳送的,data默認為空None悯嗓,timeout默認為 socket._GLOBAL_DEFAULT_TIMEOUT

執(zhí)行urlopen方法之后,返回一個response對象卸察,返回信息便保存在這里面

#也可以用其他的變量比如aaa

response對象有一個read方法脯厨,可以返回獲取到的網(wǎng)頁內(nèi)容

其實上面的urlopen參數(shù)可以傳入一個request請求,它其實就是一個Request類的實例,構(gòu)造時需要傳入Url,Data等等的內(nèi)容坑质。比如上面的兩行代碼合武,我們可以這么改寫

import urllib2

response = urllib2.urlopen("http://www.baidu.com")

print response.read()

改寫成

import urllib2

request=urllib2.Request("http://www.baidu.com")

response=urllib2.urlopen(request)

print response.read()

運行結(jié)果是完全一樣的,只不過中間多了一個request對象洪乍,推薦大家這么寫眯杏,因為在構(gòu)建請求時還需要加入好多內(nèi)容,通過構(gòu)建一個request壳澳,服務器響應請求得到應答岂贩,這樣顯得邏輯上清晰明確。


數(shù)據(jù)傳送分為POST和GET兩種方式巷波,兩種方式有什么區(qū)別呢萎津?

最重要的區(qū)別是GET方式是直接以鏈接形式訪問,鏈接中包含了所有的參數(shù)抹镊,當然如果包含了密碼的話是一種不安全的選擇锉屈,不過你可以直觀地看到自己提交了什么內(nèi)容。POST則不會在網(wǎng)址上顯示所有的參數(shù)垮耳,不過如果你想直接查看提交了什么就不太方便了颈渊,大家可以酌情選擇。




參考自:? http://python.jobbole.com/81336/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末终佛,一起剝皮案震驚了整個濱河市俊嗽,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌铃彰,老刑警劉巖绍豁,帶你破解...
    沈念sama閱讀 219,039評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異牙捉,居然都是意外死亡竹揍,警方通過查閱死者的電腦和手機敬飒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,426評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來芬位,“玉大人无拗,你說我怎么就攤上這事∶恋铮” “怎么了蓝纲?”我有些...
    開封第一講書人閱讀 165,417評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長晌纫。 經(jīng)常有香客問我,道長永丝,這世上最難降的妖魔是什么锹漱? 我笑而不...
    開封第一講書人閱讀 58,868評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮慕嚷,結(jié)果婚禮上哥牍,老公的妹妹穿的比我還像新娘。我一直安慰自己喝检,他們只是感情好嗅辣,可當我...
    茶點故事閱讀 67,892評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著挠说,像睡著了一般澡谭。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上损俭,一...
    開封第一講書人閱讀 51,692評論 1 305
  • 那天蛙奖,我揣著相機與錄音,去河邊找鬼杆兵。 笑死雁仲,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的琐脏。 我是一名探鬼主播攒砖,決...
    沈念sama閱讀 40,416評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼日裙!你這毒婦竟也來了吹艇?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,326評論 0 276
  • 序言:老撾萬榮一對情侶失蹤阅签,失蹤者是張志新(化名)和其女友劉穎掐暮,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體政钟,經(jīng)...
    沈念sama閱讀 45,782評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡路克,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,957評論 3 337
  • 正文 我和宋清朗相戀三年樟结,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片精算。...
    茶點故事閱讀 40,102評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡瓢宦,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出灰羽,到底是詐尸還是另有隱情驮履,我是刑警寧澤,帶...
    沈念sama閱讀 35,790評論 5 346
  • 正文 年R本政府宣布廉嚼,位于F島的核電站玫镐,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏怠噪。R本人自食惡果不足惜恐似,卻給世界環(huán)境...
    茶點故事閱讀 41,442評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望傍念。 院中可真熱鬧矫夷,春花似錦、人聲如沸憋槐。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,996評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽阳仔。三九已至忧陪,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間近范,已是汗流浹背赤嚼。 一陣腳步聲響...
    開封第一講書人閱讀 33,113評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留顺又,地道東北人更卒。 一個月前我還...
    沈念sama閱讀 48,332評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像稚照,于是被迫代替她去往敵國和親蹂空。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,044評論 2 355

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理果录,服務發(fā)現(xiàn)乡革,斷路器侠姑,智...
    卡卡羅2017閱讀 134,662評論 18 139
  • 1.簡介 requests第三方封裝的模塊捐名,通過簡化和響應數(shù)據(jù)的處理烘跺,簡化繁瑣的開發(fā)步驟和處理邏輯、統(tǒng)一不同請求的...
    程猿先生閱讀 1,651評論 0 1
  • urllib2是Python的一個獲取URLs的組件。他以urlopen函數(shù)的形式提供了一個非常簡單的接口锈玉,具有利...
    查無此人asdasd閱讀 1,504評論 0 3
  • Python爬蟲入門(urllib+Beautifulsoup) 本文包括:1爪飘、爬蟲簡單介紹2、爬蟲架構(gòu)三大模塊3...
    廖少少閱讀 9,835評論 0 6
  • 1-1 簡介 requests第三方封裝的模塊拉背,通過簡化請求和響應數(shù)據(jù)的處理师崎,簡化繁瑣的開發(fā)步驟和處理邏輯、統(tǒng)一...
    大牧莫邪閱讀 609評論 4 5