Python爬蟲工程師必備工具 Charles 的安裝,以及爬取淘寶網(wǎng)+學(xué)UI網(wǎng)

本篇博客為你帶來第二款手機(jī) APP 抓包軟件:Charles碟绑。

@[toc]

前置知識

該軟件一般用在 mac 電腦上(Windows 電腦也可使用)茎匠,官方下載地址為:https://www.charlesproxy.com/(國內(nèi)需要一些特殊的辦法訪問)。

在下載目錄中選擇你的可用版本即可诵冒,安裝過程很簡單,遵循下一步原則谊惭。

<kbd>
Python爬蟲工程師必備工具 Charles 的安裝汽馋,以及爬取淘寶網(wǎng)+學(xué)UI網(wǎng)

</kbd>

下載之后,從網(wǎng)絡(luò)上尋找到了一些注冊碼豹芯,不注冊也可以直接使用驱敲,不過軟件每次使用 30 分鐘铁蹈,就會退出一次握牧。

Charles Serial Keys:
Name..:TEAM MESMERiZE
Serial:FC91D362FB19D6E6CF
Name..:CRACKSurl
Serial:1959D66D1AAC0C6EA2
Name..:Charles
Serial:EBD457553EFAF1BBAC
Name..:cracksurl.com
Serial:3FE40E97FCA9E9697A

軟件運(yùn)行之后娩梨,界面如下所示沿腰,在前面我們已經(jīng)學(xué)習(xí)了 fiddler 相關(guān)知識狈定,下面在使用 charles 就變得非常容易了。

Python爬蟲工程師必備工具 Charles 的安裝措嵌,以及爬取淘寶網(wǎng)+學(xué)UI網(wǎng)

兩種不同的視圖模式

切換即可查看對應(yīng)的區(qū)別稿湿,一種是樹形結(jié)構(gòu)狀押赊,一種是表格序列狀。

  • Structure 視圖:將網(wǎng)絡(luò)請求按訪問的域名分類涕俗;
  • Sequence 視圖:將網(wǎng)絡(luò)請求按訪問的時間排序神帅。

Python爬蟲工程師必備工具 Charles 的安裝,以及爬取淘寶網(wǎng)+學(xué)UI網(wǎng)

接下來要做的第一件事情元镀,就是將 Charles 的代理設(shè)置為系統(tǒng)代理绍填。

[圖片上傳失敗...(image-cde333-1643731246855)]
點(diǎn)亮【Start Recoding】栖疑,瀏覽器中的請求就會被 Charles 捕獲到。
[圖片上傳失敗...(image-e5c639-1643731246855)]
工具欄的其它圖標(biāo)含義也比較清楚遇革。

  • 掃把:清除捕獲到的所有請求;
  • 紅點(diǎn)/灰點(diǎn): 開啟和暫停捕獲請求锻霎;
  • :按下去表示捕獲 SSL揪漩,即 HTTPS 請求;
  • 烏龜:是否開啟限流訪問奄容;
  • 六邊形:開啟或關(guān)閉斷點(diǎn);
  • 鋼筆:編輯會話嫩海,然后執(zhí)行;
  • 刷新:重新發(fā)一遍請求审葬;
  • 對鉤:驗(yàn)證會話奕谭;
  • 板子:工具;
  • 齒輪:配置血柳。

測試淘寶網(wǎng)

打開淘寶,隨機(jī)進(jìn)入一家店鋪膝宁,會看到生成非常多的請求內(nèi)容根吁,然后按下鍵盤 Ctrl+F 進(jìn)行檢索,可以找到對應(yīng)的數(shù)據(jù)接口击敌。

[圖片上傳失敗...(image-c32657-1643731246855)]

[圖片上傳失敗...(image-1a0baa-1643731246855)]

過濾指定站點(diǎn)

接下來我們拿指定的網(wǎng)站練練手,這一次選擇 學(xué) UI 網(wǎng)圣蝎,打開 Charles,注意軟件的左下角组去,有一個 Filter 輸入框步淹,在其中輸入 xueui.cn 域名即可。

[圖片上傳失敗...(image-51a8b5-1643731246855)]
下面在說明一下軟件右側(cè)相關(guān)功能區(qū)域說明缭裆,最重要的是 Contents 功能區(qū)澈驼,上部為請求內(nèi)容辛燥,下部為響應(yīng)內(nèi)容缝其,使用的時候要注意切換各種不同的視圖查看内边。

[圖片上傳失敗...(image-1e4174-1643731246855)]
此時如果你持續(xù)不斷的翻頁,就能捕獲到各種翻頁結(jié)果漠其。

[圖片上傳失敗...(image-970-1643731246855)]

手機(jī)抓包配置

通過 Charles 也能實(shí)現(xiàn)手機(jī)抓包,使用的方式與 fiddler 基本一致拴驮。

在菜單 Proxy 中找到 Proxy Settings柴信,之后按照下圖開啟配置。

[圖片上傳失敗...(image-f7b8f9-1643731246855)]
打開模擬器(真機(jī)需要參考 fiddler 文章相關(guān)配置)潜沦,Wlan 代理按照下圖設(shè)置线罕,其中的 IP 地址是你電腦的 IP,端口是上文設(shè)置的端口號钞楼。
[圖片上傳失敗...(image-1227e3-1643731246855)]

打開模擬器默認(rèn)瀏覽器袄琳,出現(xiàn)證書問題燃乍,在手機(jī)瀏覽器中訪問 http://charlesproxy.com/getssl 下載證書并安裝宛琅。

[圖片上傳失敗...(image-1e2343-1643731246855)]
[圖片上傳失敗...(image-3d0a3a-1643731246855)]
此時在使用瀏覽器訪問任意網(wǎng)址(重點(diǎn)是 HTTPS 協(xié)議站點(diǎn))嘿辟,當(dāng) Charles 中出現(xiàn)對應(yīng)的請求并正常解析,表示配置成功红伦。

初學(xué)爬蟲階段掌握這些即可。

后續(xù)進(jìn)階部分召调,可以按照下述清單對比學(xué)習(xí)蛮浑。

  • 禁止緩存
  • 禁用 cookies
  • 遠(yuǎn)程映射
  • 本地映射
  • 鏡像
  • 重寫
  • black list 和 white list
  • DNS 欺騙
  • 自動儲存
  • 客戶端進(jìn)程
  • 撰寫
  • 重復(fù)發(fā)包
  • 驗(yàn)證
  • Charles Publish Gist

訂閱時間

今天是持續(xù)寫作的第 <font color=red>265</font> / 365 天。
可以<font color=#04a9f4>關(guān)注</font>我艺沼,<font color=#04a9f4>點(diǎn)贊</font>我蕴掏、<font color=#04a9f4>評論</font>我、<font color=#04a9f4>收藏</font>我啦囚似。

更多精彩


[圖片上傳失敗...(image-efb0db-1643731246855)]

<center>
??????掃碼加入【78技術(shù)人】~ Python 事業(yè)部??????,源碼也在這</center>

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末募狂,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子性穿,更是在濱河造成了極大的恐慌雷滚,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,104評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件呆万,死亡現(xiàn)場離奇詭異,居然都是意外死亡谋减,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,816評論 3 399
  • 文/潘曉璐 我一進(jìn)店門出爹,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人总寻,你說我怎么就攤上這事盈蛮。” “怎么了抖誉?”我有些...
    開封第一講書人閱讀 168,697評論 0 360
  • 文/不壞的土叔 我叫張陵袒炉,是天一觀的道長。 經(jīng)常有香客問我我磁,道長,這世上最難降的妖魔是什么芋哭? 我笑而不...
    開封第一講書人閱讀 59,836評論 1 298
  • 正文 為了忘掉前任郁副,我火速辦了婚禮,結(jié)果婚禮上拔疚,老公的妹妹穿的比我還像新娘既荚。我一直安慰自己,他們只是感情好恰聘,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,851評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著诫钓,像睡著了一般篙螟。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上惧所,一...
    開封第一講書人閱讀 52,441評論 1 310
  • 那天绪杏,我揣著相機(jī)與錄音,去河邊找鬼势似。 笑死僧著,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的盹愚。 我是一名探鬼主播,決...
    沈念sama閱讀 40,992評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼毅舆,長吁一口氣:“原來是場噩夢啊……” “哼愈腾!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起悦即,我...
    開封第一講書人閱讀 39,899評論 0 276
  • 序言:老撾萬榮一對情侶失蹤礁鲁,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后冗美,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體析二,經(jīng)...
    沈念sama閱讀 46,457評論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡节预,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,529評論 3 341
  • 正文 我和宋清朗相戀三年安拟,在試婚紗的時候發(fā)現(xiàn)自己被綠了宵喂。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,664評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡拙泽,死狀恐怖裸燎,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情德绿,我是刑警寧澤,帶...
    沈念sama閱讀 36,346評論 5 350
  • 正文 年R本政府宣布蕴纳,位于F島的核電站秒裕,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏几蜻。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,025評論 3 334
  • 文/蒙蒙 一颖低、第九天 我趴在偏房一處隱蔽的房頂上張望弧烤。 院中可真熱鬧,春花似錦莺戒、人聲如沸急波。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,511評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至伸辟,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間窃蹋,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,611評論 1 272
  • 我被黑心中介騙來泰國打工脐彩, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留姊扔,地道東北人梅誓。 一個月前我還...
    沈念sama閱讀 49,081評論 3 377
  • 正文 我出身青樓梗掰,卻偏偏與公主長得像,于是被迫代替她去往敵國和親及穗。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,675評論 2 359

推薦閱讀更多精彩內(nèi)容