Requests08.設(shè)置代理

如果需要使用代理戚炫,requests支持proxies 命名參數(shù)和配置變量兩種方式來配置代理仁堪。

proxies 命名參數(shù)

可以通過任意請求方法的proxies 命名參數(shù)來指定代理方式。其中http協(xié)議和https協(xié)議相互獨立打却,設(shè)置方式為

proxies = {
  "http": "代理主機ip及端口號",
  "https": "代理主機ip及端口號",
}

由于requests庫的調(diào)試離不開fiddler工具杉适,這里就以設(shè)置fiddler代理為例進行演示。
當(dāng)fiddler啟動后會自動開啟internet代理(如下圖)柳击,當(dāng)在瀏覽器訪問網(wǎng)頁會自動通過代理猿推,將訪問轉(zhuǎn)入fiddler,fiddler便能夠攔截到瀏覽器訪問的請求捌肴。

fiddler啟動后被設(shè)置好的代理

但如果使用requests庫用代碼請求某個網(wǎng)頁時蹬叭,默認不會使用fiddler的代理藕咏。這時就需要手動在代碼中設(shè)置代理。
通過fiddler菜單-Tools-Options-Connections查看代理端口號:
查看fiddler代理端口號

由代理端口號秽五,可以得出本機fiddler代理地址為 http://127.0.0.1:8888

import requests


if __name__ == '__main__':
    # 請求地址
    url = 'http://www.sogou.com/'
    # 代理
    proxies = {
        "http": "http://127.0.0.1:8888",
    }
    r = requests.get(url, proxies=proxies)

代碼執(zhí)行后孽查,如果能夠在fiddler中能夠攔截到requests所發(fā)送的請求,則代理設(shè)置成功筝蚕。


攔截到的請求

環(huán)境變量

除了通過指定proxies 命名參數(shù)外卦碾,requests還提供了使用環(huán)境變量的方式來添加代理。requests提供HTTP_PROXYHTTPS_PROXY環(huán)境變量,其中HTTP_PROXY為http協(xié)議設(shè)置代理起宽,HTTPS_PROXY用于設(shè)置https協(xié)議的代理方式 洲胖。和命名參數(shù)相比,環(huán)境變量有以下優(yōu)點:

  • 作用范圍廣坯沪,可作用于所有的請求
  • 可插拔绿映,設(shè)置環(huán)境變量使用代理,不設(shè)置則不使用代理腐晾。
  • 若代理主機變動叉弦,代碼無需修改,更優(yōu)雅藻糖。

還是和上篇設(shè)置fiddler代理一樣淹冰,演示下采用環(huán)境變量的方式設(shè)置代理。

  1. 設(shè)置環(huán)境變量(設(shè)置環(huán)境變量后巨柒,重啟電腦才會生效)


    設(shè)置環(huán)境變量

2.編輯代碼發(fā)送請求

import requests


if __name__ == '__main__':
    # 請求地址
    url = 'http://www.sogou.com/'
    r = requests.get(url)

3.啟動fiddler樱拴,執(zhí)行代碼,若fiddler能攔截到請求則設(shè)置成功洋满。


fiddler攔截到的請求
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末晶乔,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子牺勾,更是在濱河造成了極大的恐慌正罢,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件驻民,死亡現(xiàn)場離奇詭異翻具,居然都是意外死亡,警方通過查閱死者的電腦和手機回还,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進店門裆泳,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人懦趋,你說我怎么就攤上這事晾虑≌钗叮” “怎么了仅叫?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵帜篇,是天一觀的道長。 經(jīng)常有香客問我诫咱,道長笙隙,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任坎缭,我火速辦了婚禮竟痰,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘掏呼。我一直安慰自己坏快,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布憎夷。 她就那樣靜靜地躺著莽鸿,像睡著了一般。 火紅的嫁衣襯著肌膚如雪拾给。 梳的紋絲不亂的頭發(fā)上祥得,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天,我揣著相機與錄音蒋得,去河邊找鬼级及。 笑死,一個胖子當(dāng)著我的面吹牛额衙,可吹牛的內(nèi)容都是我干的饮焦。 我是一名探鬼主播,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼入偷,長吁一口氣:“原來是場噩夢啊……” “哼追驴!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起疏之,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤殿雪,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后锋爪,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體丙曙,經(jīng)...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年其骄,在試婚紗的時候發(fā)現(xiàn)自己被綠了亏镰。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,912評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡拯爽,死狀恐怖索抓,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤逼肯,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布耸黑,位于F島的核電站,受9級特大地震影響篮幢,放射性物質(zhì)發(fā)生泄漏大刊。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一三椿、第九天 我趴在偏房一處隱蔽的房頂上張望缺菌。 院中可真熱鬧,春花似錦搜锰、人聲如沸伴郁。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蛾绎。三九已至,卻和暖如春鸦列,著一層夾襖步出監(jiān)牢的瞬間租冠,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工薯嗤, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留顽爹,地道東北人。 一個月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓骆姐,卻偏偏與公主長得像镜粤,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子玻褪,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,922評論 2 361

推薦閱讀更多精彩內(nèi)容

  • Getting Started Burp Suite 是用于攻擊web 應(yīng)用程序的集成平臺肉渴。它包含了許多工具,并為...
    Eva_chenx閱讀 28,718評論 0 14
  • 轉(zhuǎn)載地址 image.png 前言 fiddler是一個很好的抓包工具带射,默認是抓http請求的同规,對于pc上的htt...
    菜菜編程閱讀 21,203評論 0 28
  • Swift1> Swift和OC的區(qū)別1.1> Swift沒有地址/指針的概念1.2> 泛型1.3> 類型嚴謹 對...
    cosWriter閱讀 11,113評論 1 32
  • 原因 在現(xiàn)實項目中,由于開發(fā)的經(jīng)常調(diào)試窟社,接口的不穩(wěn)定券勺,和接口文檔的不及時更新,我們選擇做接口測試灿里,更多的需要自己抓...
    我為峰2014閱讀 3,125評論 1 5
  • 目錄 一关炼、HTTP協(xié)議簡介 二、Fiddler簡介 三匣吊、Fiddler工作原理 四儒拂、Fiddler界面介紹 五寸潦、F...
    huxt閱讀 36,207評論 9 26