爬蟲urllib高級用法

Handler處理器 和 自定義opener

* opener是urllib.OpenerDirector 的實例每币,之前使用的urlopen蛉谜,也是一個特殊的opener(是代碼程序自帶的)
* 但**urlopen()方法不支持代理、cookie**及其它高級功能:
    i. **使用相關的Handler處理器來創(chuàng)建特定功能的處理器對象**
    ii. **然后通過 urllib.request.build_opener()方法使用這些處理器對象,創(chuàng)建一個自定義opener對象**
    iii. **使用自定義的opener對象芒篷,調用open()方法發(fā)送請求**
* 如果程序中的多有請求都是使用的自己定義的opener茂洒,可以使用**urllib.request.install_opener()**將定義的opener定義為**全局的opener**讓凡是調用urlopen孟岛,都使用這個opener(定義的opener要符合自己的使用需求)

urllib之代理設置

什么是代理:代理就是代理服務器
功能:網絡信息的中轉站,就好像中間商一樣督勺,原本是直接找房主詳談的渠羞,但現在是和房產中介談一樣,在中間有個橋連接兩方
基本原理:本來服務器收到的請求是我們本機真實IP但設置了代理之后智哀,服務器無法識別我們的本機真實IP

image.png

代理的作用:
1.突破自身的IP訪問限制
2.范文一些單位或團體內部資源
3.提高訪問速度
4.隱藏真實IP

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末次询,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子瓷叫,更是在濱河造成了極大的恐慌送巡,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,406評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件骗爆,死亡現場離奇詭異,居然都是意外死亡蔽介,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 92,732評論 3 393
  • 文/潘曉璐 我一進店門屉佳,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人武花,你說我怎么就攤上這事圆凰√寤” “怎么了专钉?”我有些...
    開封第一講書人閱讀 163,711評論 0 353
  • 文/不壞的土叔 我叫張陵跃须,是天一觀的道長。 經常有香客問我娃兽,道長,這世上最難降的妖魔是什么投储? 我笑而不...
    開封第一講書人閱讀 58,380評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮玛荞,結果婚禮上娇掏,老公的妹妹穿的比我還像新娘勋眯。我一直安慰自己婴梧,他們只是感情好客蹋,可當我...
    茶點故事閱讀 67,432評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著嚼酝,像睡著了一般浮还。 火紅的嫁衣襯著肌膚如雪竟坛。 梳的紋絲不亂的頭發(fā)上闽巩,一...
    開封第一講書人閱讀 51,301評論 1 301
  • 那天钧舌,我揣著相機與錄音,去河邊找鬼涎跨。 笑死洼冻,一個胖子當著我的面吹牛,可吹牛的內容都是我干的隅很。 我是一名探鬼主播撞牢,決...
    沈念sama閱讀 40,145評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼叔营!你這毒婦竟也來了屋彪?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,008評論 0 276
  • 序言:老撾萬榮一對情侶失蹤绒尊,失蹤者是張志新(化名)和其女友劉穎畜挥,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體婴谱,經...
    沈念sama閱讀 45,443評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡蟹但,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,649評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了谭羔。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片华糖。...
    茶點故事閱讀 39,795評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖瘟裸,靈堂內的尸體忽然破棺而出客叉,到底是詐尸還是另有隱情,我是刑警寧澤话告,帶...
    沈念sama閱讀 35,501評論 5 345
  • 正文 年R本政府宣布十办,位于F島的核電站,受9級特大地震影響超棺,放射性物質發(fā)生泄漏向族。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,119評論 3 328
  • 文/蒙蒙 一棠绘、第九天 我趴在偏房一處隱蔽的房頂上張望件相。 院中可真熱鬧,春花似錦氧苍、人聲如沸夜矗。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,731評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽紊撕。三九已至,卻和暖如春赡突,著一層夾襖步出監(jiān)牢的瞬間对扶,已是汗流浹背区赵。 一陣腳步聲響...
    開封第一講書人閱讀 32,865評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留浪南,地道東北人笼才。 一個月前我還...
    沈念sama閱讀 47,899評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像络凿,于是被迫代替她去往敵國和親骡送。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,724評論 2 354

推薦閱讀更多精彩內容