爬蟲原理與數(shù)據(jù)抓取之三: HTTP代理神器Fiddler

HTTP代理神器Fiddler

Fiddler是一款強(qiáng)大Web調(diào)試工具,它能記錄所有客戶端和服務(wù)器的HTTP請(qǐng)求颂砸。 Fiddler啟動(dòng)的時(shí)候,默認(rèn)IE的代理設(shè)為了127.0.0.1:8888,而其他瀏覽器是需要手動(dòng)設(shè)置辽话。

工作原理

Fiddler 是以代理web服務(wù)器的形式工作的,它使用代理地址:127.0.0.1卫病,端口:8888

屏幕快照 2018-04-18 下午3.05.54.png

Fiddler抓取HTTPS設(shè)置

  1. 啟動(dòng)Fiddler油啤,打開菜單欄中的 Tools > Telerik Fiddler Options,打開“Fiddler Options”對(duì)話框蟀苛。


    屏幕快照 2018-04-18 下午3.06.13.png
  2. 對(duì)Fiddler進(jìn)行設(shè)置:

    • 打開工具欄->Tools->Fiddler Options->HTTPS益咬,

    • 選中Capture HTTPS CONNECTs (捕捉HTTPS連接),

    • 選中Decrypt HTTPS traffic(解密HTTPS通信)

    • 另外我們要用Fiddler獲取本機(jī)所有進(jìn)程的HTTPS請(qǐng)求帜平,所以中間的下拉菜單中選中...from all processes (從所有進(jìn)程)

    • 選中下方Ignore server certificate errors(忽略服務(wù)器證書錯(cuò)誤)

      屏幕快照 2018-04-18 下午3.06.20.png
  3. 為 Fiddler 配置Windows信任這個(gè)根證書解決安全警告:Trust Root Certificate(受信任的根證書)幽告。


    屏幕快照 2018-04-18 下午3.06.27.png
  4. Fiddler 主菜單 Tools -> Fiddler Options…-> Connections

    • 選中Allow remote computers to connect(允許遠(yuǎn)程連接)
    • Act as system proxy on startup(作為系統(tǒng)啟動(dòng)代理)
    屏幕快照 2018-04-18 下午3.06.35.png
  5. 重啟Fiddler,使配置生效(這一步很重要裆甩,必須做)冗锁。

Fiddler 如何捕獲Chrome的會(huì)話

  1. 安裝SwitchyOmega 代理管理 Chrome 瀏覽器插件


    屏幕快照 2018-04-18 下午3.08.05.png
  2. 如圖所示,設(shè)置代理服務(wù)器為127.0.0.1:8888


    屏幕快照 2018-04-18 下午3.08.10.png
  3. 通過瀏覽器插件切換為設(shè)置好的代理嗤栓。


    屏幕快照 2018-04-18 下午3.08.26.png

Fiddler界面

  • 設(shè)置好后蒿讥,本機(jī)HTTP通信都會(huì)經(jīng)過127.0.0.1:8888代理,也就會(huì)被Fiddler攔截到抛腕。
    屏幕快照 2018-04-18 下午3.08.33.png

請(qǐng)求 (Request) 部分詳解

  1. Headers —— 顯示客戶端發(fā)送到服務(wù)器的 HTTP 請(qǐng)求的 header芋绸,顯示為一個(gè)分級(jí)視圖,包含了 Web 客戶端信息担敌、Cookie摔敛、傳輸狀態(tài)等。
  2. Textview —— 顯示 POST 請(qǐng)求的 body 部分為文本全封。
  3. WebForms —— 顯示請(qǐng)求的 GET 參數(shù) 和 POST body 內(nèi)容马昙。
  4. HexView —— 用十六進(jìn)制數(shù)據(jù)顯示請(qǐng)求桃犬。
  5. Auth —— 顯示響應(yīng) header 中的 Proxy-Authorization(代理身份驗(yàn)證) 和 Authorization(授權(quán)) 信息.
  6. Raw —— 將整個(gè)請(qǐng)求顯示為純文本。
  7. JSON - 顯示JSON格式文件行楞。
  8. XML —— 如果請(qǐng)求的 body 是 XML 格式攒暇,就是用分級(jí)的 XML 樹來顯示它。

響應(yīng) (Response) 部分詳解

  1. Transformer —— 顯示響應(yīng)的編碼信息子房。
  2. Headers —— 用分級(jí)視圖顯示響應(yīng)的 header形用。
  3. TextView —— 使用文本顯示相應(yīng)的 body。
  4. ImageVies —— 如果請(qǐng)求是圖片資源证杭,顯示響應(yīng)的圖片田度。
  5. HexView —— 用十六進(jìn)制數(shù)據(jù)顯示響應(yīng)。
  6. WebView —— 響應(yīng)在 Web 瀏覽器中的預(yù)覽效果解愤。
  7. Auth —— 顯示響應(yīng) header 中的 Proxy-Authorization(代理身份驗(yàn)證) 和 Authorization(授權(quán)) 信息镇饺。
  8. Caching —— 顯示此請(qǐng)求的緩存信息。
  9. Privacy —— 顯示此請(qǐng)求的私密 (P3P) 信息送讲。
  10. Raw —— 將整個(gè)響應(yīng)顯示為純文本奸笤。
  11. JSON - 顯示JSON格式文件。
  12. XML —— 如果響應(yīng)的 body 是 XML 格式哼鬓,就是用分級(jí)的 XML 樹來顯示它 监右。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市魄宏,隨后出現(xiàn)的幾起案子秸侣,更是在濱河造成了極大的恐慌,老刑警劉巖宠互,帶你破解...
    沈念sama閱讀 206,378評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件味榛,死亡現(xiàn)場離奇詭異,居然都是意外死亡予跌,警方通過查閱死者的電腦和手機(jī)搏色,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,356評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來券册,“玉大人频轿,你說我怎么就攤上這事∷副海” “怎么了航邢?”我有些...
    開封第一講書人閱讀 152,702評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長骄蝇。 經(jīng)常有香客問我膳殷,道長,這世上最難降的妖魔是什么九火? 我笑而不...
    開封第一講書人閱讀 55,259評(píng)論 1 279
  • 正文 為了忘掉前任赚窃,我火速辦了婚禮册招,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘勒极。我一直安慰自己是掰,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,263評(píng)論 5 371
  • 文/花漫 我一把揭開白布辱匿。 她就那樣靜靜地躺著键痛,像睡著了一般。 火紅的嫁衣襯著肌膚如雪掀鹅。 梳的紋絲不亂的頭發(fā)上散休,一...
    開封第一講書人閱讀 49,036評(píng)論 1 285
  • 那天媒楼,我揣著相機(jī)與錄音乐尊,去河邊找鬼。 笑死划址,一個(gè)胖子當(dāng)著我的面吹牛扔嵌,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播夺颤,決...
    沈念sama閱讀 38,349評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼痢缎,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼!你這毒婦竟也來了世澜?” 一聲冷哼從身側(cè)響起独旷,我...
    開封第一講書人閱讀 36,979評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎寥裂,沒想到半個(gè)月后嵌洼,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,469評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡封恰,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,938評(píng)論 2 323
  • 正文 我和宋清朗相戀三年麻养,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片诺舔。...
    茶點(diǎn)故事閱讀 38,059評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡鳖昌,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出低飒,到底是詐尸還是另有隱情许昨,我是刑警寧澤,帶...
    沈念sama閱讀 33,703評(píng)論 4 323
  • 正文 年R本政府宣布褥赊,位于F島的核電站糕档,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏崭倘。R本人自食惡果不足惜翼岁,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,257評(píng)論 3 307
  • 文/蒙蒙 一类垫、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧琅坡,春花似錦悉患、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,262評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至茴晋,卻和暖如春陪捷,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背诺擅。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評(píng)論 1 262
  • 我被黑心中介騙來泰國打工市袖, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人烁涌。 一個(gè)月前我還...
    沈念sama閱讀 45,501評(píng)論 2 354
  • 正文 我出身青樓苍碟,卻偏偏與公主長得像,于是被迫代替她去往敵國和親撮执。 傳聞我的和親對(duì)象是個(gè)殘疾皇子微峰,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,792評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)抒钱,斷路器蜓肆,智...
    卡卡羅2017閱讀 134,599評(píng)論 18 139
  • 前言fiddler是一個(gè)很好的抓包工具,默認(rèn)是抓http請(qǐng)求的谋币,對(duì)于pc上的https請(qǐng)求仗扬,會(huì)提示網(wǎng)頁不安全,這時(shí)...
    胖子愛豬蹄閱讀 12,275評(píng)論 4 22
  • Fiddler是一款強(qiáng)大Web調(diào)試工具瑞信,它能記錄所有客戶端和服務(wù)器的HTTP請(qǐng)求厉颤。 Fiddler啟動(dòng)的時(shí)候,默認(rèn)...
    文子軒閱讀 872評(píng)論 0 0
  • 國家電網(wǎng)公司企業(yè)標(biāo)準(zhǔn)(Q/GDW)- 面向?qū)ο蟮挠秒娦畔?shù)據(jù)交換協(xié)議 - 報(bào)批稿:20170802 前言: 排版 ...
    庭說閱讀 10,869評(píng)論 6 13
  • 做任何事情想要做成功凡简,首先就是需要有厚重感還有就是要有自信1朴选!秤涩!自信帜乞!完成目標(biāo)的決心,分解目標(biāo)~感觸很深的還有就是...
    河悅悅閱讀 118評(píng)論 0 0