前文介紹的都是爬取web網(wǎng)頁(yè)的內(nèi)容葫哗，隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展括享，有很多企業(yè)并沒(méi)有提web網(wǎng)頁(yè)端的服務(wù)扣汪，而是開(kāi)發(fā)了app來(lái)提供服務(wù)河闰，很多信息都是通過(guò)app來(lái)展示的侧到。那么針對(duì)app我們可以抓取嗎？當(dāng)然可以淤击。
做這個(gè)項(xiàng)目之前匠抗，先聲明點(diǎn)問(wèn)題。有的同學(xué)會(huì)問(wèn)污抬，app抓取是不是很難啊汞贸，需要咋突破？其實(shí)app抓取相對(duì)于web端抓取來(lái)說(shuō)印机，更加容易矢腻，反爬蟲能力沒(méi)有那么強(qiáng)，而且數(shù)據(jù)都是以json格式傳輸?shù)纳淙馕龈雍?jiǎn)單多柑。在web端我們可以根據(jù)谷歌瀏覽器的開(kāi)發(fā)者工具監(jiān)聽(tīng)到各個(gè)網(wǎng)絡(luò)請(qǐng)求和相應(yīng)過(guò)程￠乖穑可是在app端竣灌，如果我們需要獲取這些信息，那么我們就需要借助抓包工具了秆麸。常用的抓包軟件有WireShark初嘹、Fiddler、Charles沮趣、mitmproxy屯烦、AnyProxy等，他們的原理基本是相同的房铭。我們可以通過(guò)設(shè)置代理的方式將手機(jī)處于抓包工具的監(jiān)聽(tīng)之下驻龟。這樣便可以在App運(yùn)行的時(shí)候獲取到所有的請(qǐng)求和響應(yīng)了，相當(dāng)于分析ajax一樣缸匪。如果這些請(qǐng)求的URL翁狐、參數(shù)等都是有規(guī)律的，那么總結(jié)出規(guī)律直接用程序模擬抓取即可豪嗽，如果他們沒(méi)有規(guī)律谴蔑，那么我們可以利用一個(gè)工具mitmdump對(duì)接Python腳本直接處理response豌骏。另外app的爬取肯定不能由人來(lái)完成。也需要做到自動(dòng)化隐锭，所以我們還要對(duì)app進(jìn)行自動(dòng)化控制窃躲，這里用到的庫(kù)是Appium。
本章先介紹抓包庫(kù)的基本用法钦睡。掌握了這些內(nèi)容蒂窒，我們可以完成絕大多數(shù)App數(shù)據(jù)的爬取。
1.Charles的使用
簡(jiǎn)介：Charles是一個(gè)網(wǎng)絡(luò)抓包工具荞怒，我們可以用它來(lái)做app的抓包分析洒琢，得到app運(yùn)行中的所有請(qǐng)求和網(wǎng)絡(luò)響應(yīng)。這就和web端瀏覽器中的開(kāi)發(fā)者工具中的network部分看到的結(jié)果一樣褐桌。
優(yōu)點(diǎn)：相對(duì)于Fiddler來(lái)說(shuō)衰抑，Charles的功能更加強(qiáng)大，而且跨平臺(tái)效率更高荧嵌。我們可以選用Charles作為主要的移動(dòng)端抓包工具呛踊，用于分析移動(dòng)app的數(shù)據(jù)包，輔助完成app數(shù)據(jù)抓取工作啦撮。
2.本節(jié)目標(biāo)
本節(jié)我們以抓取JD app為例谭网，通過(guò)Charles用于分析數(shù)據(jù)包，實(shí)現(xiàn)app運(yùn)行后獲取客戶端和服務(wù)端發(fā)送的Request赃春、Response數(shù)據(jù)愉择，以此來(lái)了解Charles的基本用法。
3.準(zhǔn)備工作
請(qǐng)確保已經(jīng)安裝好了Charles并開(kāi)啟了代理服務(wù)织中，手機(jī)和Charles處于同一個(gè)局域網(wǎng)下锥涕，Charles的CA證書和代理設(shè)置好，另外需要開(kāi)啟SSL監(jiān)聽(tīng)抠璃，具體配置如下：
進(jìn)入官網(wǎng)下載地址：http://www.charlesproxy.com/站楚，點(diǎn)擊鏈接下載30天免費(fèi)試用版本。
將 Charles 設(shè)置成系統(tǒng)代理
之前提到搏嗡，Charles 是通過(guò)將自己設(shè)置成代理服務(wù)器來(lái)完成封包截取的，所以使用 Charles 的第一步是將其設(shè)置成系統(tǒng)的代理服務(wù)器拉一。
啟動(dòng) Charles 后采盒，第一次 Charles 會(huì)請(qǐng)求你給它設(shè)置系統(tǒng)代理的權(quán)限。你可以輸入登錄密碼授予 Charles 該權(quán)限蔚润。你也可以忽略該請(qǐng)求磅氨，然后在需要將 Charles 設(shè)置成系統(tǒng)代理時(shí)，選擇菜單中的 “Proxy” –> “Mac OS X Proxy” 來(lái)將 Charles 設(shè)置成系統(tǒng)代理嫡纠。如下所示：
之后烦租，你就可以看到源源不斷的網(wǎng)絡(luò)請(qǐng)求出現(xiàn)在 Charles 的界面中延赌。
需要注意的是，Chrome 和 Firefox 瀏覽器默認(rèn)并不使用系統(tǒng)的代理服務(wù)器設(shè)置叉橱，而 Charles 是通過(guò)將自己設(shè)置成代理服務(wù)器來(lái)完成封包截取的挫以，所以在默認(rèn)情況下無(wú)法截取 Chrome 和 Firefox 瀏覽器的網(wǎng)絡(luò)通訊內(nèi)容。如果你需要截取的話窃祝，在 Chrome 中設(shè)置成使用系統(tǒng)的代理服務(wù)器設(shè)置即可掐松，或者直接將代理服務(wù)器設(shè)置成 127.0.0.1:8888 也可達(dá)到相同效果。
Charles 主界面介紹
Charles 主要提供兩種查看封包的視圖粪小，分別名為 “Structure” 和 “Sequence”大磺。
- Structure 視圖將網(wǎng)絡(luò)請(qǐng)求按訪問(wèn)的域名分類。
- Sequence 視圖將網(wǎng)絡(luò)請(qǐng)求按訪問(wèn)的時(shí)間排序探膊。
大家可以根據(jù)具體的需要在這兩種視圖之前來(lái)回切換杠愧。請(qǐng)求多了有些時(shí)候會(huì)看不過(guò)來(lái)，Charles 提供了一個(gè)簡(jiǎn)單的 Filter 功能逞壁，可以輸入關(guān)鍵字來(lái)快速篩選出 URL 中帶指定關(guān)鍵字的網(wǎng)絡(luò)請(qǐng)求殴蹄。
對(duì)于某一個(gè)具體的網(wǎng)絡(luò)請(qǐng)求，你可以查看其詳細(xì)的請(qǐng)求內(nèi)容和響應(yīng)內(nèi)容猾担。如果請(qǐng)求內(nèi)容是 POST 的表單袭灯，Charles 會(huì)自動(dòng)幫你將表單進(jìn)行分項(xiàng)顯示。如果響應(yīng)內(nèi)容是 JSON 格式的绑嘹，那么 Charles 可以自動(dòng)幫你將 JSON 內(nèi)容格式化稽荧，方便你查看。如果響應(yīng)內(nèi)容是圖片工腋，那么 Charles 可以顯示出圖片的預(yù)覽姨丈。
過(guò)濾網(wǎng)絡(luò)請(qǐng)求
通常情況下，我們需要對(duì)網(wǎng)絡(luò)請(qǐng)求進(jìn)行過(guò)濾擅腰，只監(jiān)控向指定目錄服務(wù)器上發(fā)送的請(qǐng)求蟋恬。對(duì)于這種需求，以下幾種辦法：
方法一：在主界面的中部的 Filter 欄中填入需要過(guò)濾出來(lái)的關(guān)鍵字趁冈。例如我們的服務(wù)器的地址是：http://yuantiku.com , 那么只需要在 Filter 欄中填入 yuantiku 即可歼争。
方法二：在 Charles 的菜單欄選擇 “Proxy”–>“Recording Settings”，然后選擇 Include 欄渗勘，選擇添加一個(gè)項(xiàng)目沐绒，然后填入需要監(jiān)控的協(xié)議，主機(jī)地址旺坠，端口號(hào)乔遮。這樣就可以只截取目標(biāo)網(wǎng)站的封包了。如下圖所示：
通常情況下取刃，我們使用方法一做一些臨時(shí)性的封包過(guò)濾蹋肮，使用方法二做一些經(jīng)常性的封包過(guò)濾出刷。
方法三：在想過(guò)濾的網(wǎng)絡(luò)請(qǐng)求上右擊，選擇 “Focus”坯辩，之后在 Filter 一欄勾選上 Focussed 一項(xiàng)馁龟，如下圖所示：
這種方式可以臨時(shí)性的，快速地過(guò)濾出一些沒(méi)有通過(guò)關(guān)鍵字的一類網(wǎng)絡(luò)請(qǐng)求濒翻。
截取 iPhone 上的網(wǎng)絡(luò)封包
Charles 通常用來(lái)截取本地上的網(wǎng)絡(luò)封包屁柏，但是當(dāng)我們需要時(shí)，我們也可以用來(lái)截取其它設(shè)備上的網(wǎng)絡(luò)請(qǐng)求有送。下面我就以 iPhone 為例淌喻，講解如何進(jìn)行相應(yīng)操作。
Charles 上的設(shè)置
要截取 iPhone 上的網(wǎng)絡(luò)請(qǐng)求雀摘，我們首先需要將 Charles 的代理功能打開(kāi)裸删。在 Charles 的菜單欄上選擇 “Proxy”–>“Proxy Settings”，填入代理端口 8888阵赠，并且勾上 “Enable transparent HTTP proxying” 就完成了在 Charles 上的設(shè)置涯塔。如下圖所示:
iPhone 上的設(shè)置
首先我們需要獲取 Charles 運(yùn)行所在電腦的 IP 地址，Charles 的頂部菜單的 “Help”–>“Local IP Address”清蚀，即可在彈出的對(duì)話框中看到 IP 地址匕荸，如下圖所示：
在 iPhone 的 “ 設(shè)置 ”–>“ 無(wú)線局域網(wǎng) ” 中，可以看到當(dāng)前連接的 wifi 名枷邪，通過(guò)點(diǎn)擊右邊的詳情鍵榛搔，可以看到當(dāng)前連接上的 wifi 的詳細(xì)信息，包括 IP 地址东揣，子網(wǎng)掩碼等信息践惑。在其最底部有「HTTP 代理」一項(xiàng)，我們將其切換成手動(dòng)嘶卧，然后填上 Charles 運(yùn)行所在的電腦的 IP尔觉，以及端口號(hào) 8888，如下圖所示：
設(shè)置好之后芥吟，我們打開(kāi) iPhone 上的任意需要網(wǎng)絡(luò)通訊的程序侦铜，就可以看到 Charles 彈出 iPhone 請(qǐng)求連接的確認(rèn)菜單（如下圖所示），點(diǎn)擊 “Allow” 即可完成設(shè)置运沦。
截取 Https 通訊信息
安裝證書
如果你需要截取分析 Https 協(xié)議相關(guān)的內(nèi)容泵额。那么需要安裝 Charles 的 CA 證書。具體步驟如下携添。
首先我們需要在 Mac 電腦上安裝證書。點(diǎn)擊 Charles 的頂部菜單篓叶，選擇 “Help” –> “SSL Proxying” –> “Install Charles Root Certificate”烈掠，然后輸入系統(tǒng)的帳號(hào)密碼羞秤，即可在 KeyChain 看到添加好的證書。如下圖所示：
需要注意的是左敌，即使是安裝完證書之后瘾蛋，Charles 默認(rèn)也并不截取 Https 網(wǎng)絡(luò)通訊的信息，如果你想對(duì)截取某個(gè)網(wǎng)站上的所有 Https 網(wǎng)絡(luò)請(qǐng)求矫限，可以在該請(qǐng)求上右擊哺哼，選擇 SSL proxy，如下圖所示：
這樣叼风，對(duì)于該 Host 的所有 SSL 請(qǐng)求可以被截取到了取董。
截取移動(dòng)設(shè)備中的 Https 通訊信息
如果我們需要在 iOS 或 Android 機(jī)器上截取 Https 協(xié)議的通訊內(nèi)容，還需要在手機(jī)上安裝相應(yīng)的證書无宿。點(diǎn)擊 Charles 的頂部菜單茵汰，選擇 “Help” –> “SSL Proxying” –> “Install Charles Root Certificate on a Mobile Device or Remote Browser”，然后就可以看到 Charles 彈出的簡(jiǎn)單的安裝教程孽鸡。如下圖所示：
按照我們之前說(shuō)的教程蹂午，在設(shè)備上設(shè)置好 Charles 為代理后，在手機(jī)瀏覽器中訪問(wèn)地址：http://charlesproxy.com/getssl彬碱，即可打開(kāi)證書安裝的界面豆胸，安裝完證書后，就可以截取手機(jī)上的 Https 通訊內(nèi)容了巷疼。不過(guò)同樣需要注意晚胡，默認(rèn)情況下 Charles 并不做截取，你還需要在要截取的網(wǎng)絡(luò)請(qǐng)求上右擊皮迟，選擇 SSL proxy 菜單項(xiàng)搬泥。
模擬慢速網(wǎng)絡(luò)
在做移動(dòng)開(kāi)發(fā)的時(shí)候，我們常常需要模擬慢速網(wǎng)絡(luò)或者高延遲的網(wǎng)絡(luò)伏尼，以測(cè)試在移動(dòng)網(wǎng)絡(luò)下忿檩，應(yīng)用的表現(xiàn)是否正常。Charles 對(duì)此需求提供了很好的支持爆阶。
在 Charles 的菜單上燥透，選擇 “Proxy”–>“Throttle Setting” 項(xiàng)，在之后彈出的對(duì)話框中辨图，我們可以勾選上 “Enable Throttling”班套，并且可以設(shè)置 Throttle Preset 的類型。如下圖所示：
如果我們只想模擬指定網(wǎng)站的慢速網(wǎng)絡(luò)故河，可以再勾選上圖中的 “Only for selected hosts” 項(xiàng)吱韭，然后在對(duì)話框的下半部分設(shè)置中增加指定的 hosts 項(xiàng)即可。
修改網(wǎng)絡(luò)請(qǐng)求內(nèi)容
有些時(shí)候?yàn)榱苏{(diào)試服務(wù)器的接口鱼的，我們需要反復(fù)嘗試不同參數(shù)的網(wǎng)絡(luò)請(qǐng)求理盆。Charles 可以方便地提供網(wǎng)絡(luò)請(qǐng)求的修改和重發(fā)功能痘煤。只需要在以往的網(wǎng)絡(luò)請(qǐng)求上點(diǎn)擊右鍵，選擇 “Edit”猿规，即可創(chuàng)建一個(gè)可編輯的網(wǎng)絡(luò)請(qǐng)求衷快。如下所示：
我們可以修改該請(qǐng)求的任何信息，包括 URL 地址姨俩、端口蘸拔、參數(shù)等，之后點(diǎn)擊 “Execute” 即可發(fā)送該修改后的網(wǎng)絡(luò)請(qǐng)求（如下圖所示）环葵。Charles 支持我們多次修改和發(fā)送該請(qǐng)求调窍，這對(duì)于我們和服務(wù)器端調(diào)試接口非常方便，如下圖所示：
給服務(wù)器做壓力測(cè)試
我們可以使用 Charles 的 Repeat 功能來(lái)簡(jiǎn)單地測(cè)試服務(wù)器的并發(fā)處理能力积担，方法如下陨晶。
我們?cè)谙氪驂旱木W(wǎng)絡(luò)請(qǐng)求上（POST 或 GET 請(qǐng)求均可）右擊，然后選擇 「Repeat Advanced」菜單項(xiàng)帝璧，如下所示：
接著我們就可以在彈出的對(duì)話框中先誉，選擇打壓的并發(fā)線程數(shù)以及打壓次數(shù)，確定之后的烁，即可開(kāi)始打壓褐耳。
悄悄說(shuō)一句，一些寫得很弱的投票網(wǎng)站渴庆，也可以用這個(gè)辦法來(lái)快速投票铃芦。當(dāng)然，我也拿 Charles 的 Repeat 功能給一些詐騙的釣魚網(wǎng)站喂了不少垃圾數(shù)據(jù)襟雷，上次不小心還把一個(gè)釣魚網(wǎng)站的數(shù)據(jù)庫(kù)打掛了刃滓，嗯，請(qǐng)叫我雷鋒耸弄。
修改服務(wù)器返回內(nèi)容
有些時(shí)候我們想讓服務(wù)器返回一些指定的內(nèi)容咧虎，方便我們調(diào)試一些特殊情況。例如列表頁(yè)面為空的情況计呈，數(shù)據(jù)異常的情況砰诵，部分耗時(shí)的網(wǎng)絡(luò)請(qǐng)求超時(shí)的情況等。如果沒(méi)有 Charles捌显，要服務(wù)器配合構(gòu)造相應(yīng)的數(shù)據(jù)顯得會(huì)比較麻煩茁彭。這個(gè)時(shí)候，使用 Charles 相關(guān)的功能就可以滿足我們的需求扶歪。
根據(jù)具體的需求理肺，Charles 提供了 Map 功能、 Rewrite 功能以及 Breakpoints 功能，都可以達(dá)到修改服務(wù)器返回內(nèi)容的目的哲嘲。這三者在功能上的差異是：
- Map 功能適合長(zhǎng)期地將某一些請(qǐng)求重定向到另一個(gè)網(wǎng)絡(luò)地址或本地文件贪薪。
- Rewrite 功能適合對(duì)網(wǎng)絡(luò)請(qǐng)求進(jìn)行一些正則替換媳禁。
- Breakpoints 功能適合做一些臨時(shí)性的修改眠副。
Map 功能
Charles 的 Map 功能分 Map Remote 和 Map Local 兩種，顧名思義竣稽，Map Remote 是將指定的網(wǎng)絡(luò)請(qǐng)求重定向到另一個(gè)網(wǎng)址請(qǐng)求地址囱怕，Map Local 是將指定的網(wǎng)絡(luò)請(qǐng)求重定向到本地文件。
在 Charles 的菜單中毫别，選擇 “Tools”–>“Map Remote” 或 “Map Local” 即可進(jìn)入到相應(yīng)功能的設(shè)置頁(yè)面娃弓。
對(duì)于 Map Remote 功能，我們需要分別填寫網(wǎng)絡(luò)重定向的源地址和目的地址岛宦，對(duì)于不需要限制的條件台丛，可以留空。下圖是一個(gè)示例砾肺，我將所有 ytk1.yuanku.ws（測(cè)試服務(wù)器）的請(qǐng)求重定向到了 www.yuantiku.com（線上服務(wù)器）挽霉。
對(duì)于 Map Local 功能，我們需要填寫的重定向的源地址和本地的目標(biāo)文件变汪。對(duì)于有一些復(fù)雜的網(wǎng)絡(luò)請(qǐng)求結(jié)果侠坎，我們可以先使用 Charles 提供的 “Save Response…” 功能，將請(qǐng)求結(jié)果保存到本地（如下圖所示）裙盾，然后稍加修改实胸，成為我們的目標(biāo)映射文件。
4.抓包**
初始狀態(tài)下Charles的運(yùn)行界面如下圖所示番官。
Charles會(huì)一直監(jiān)聽(tīng)PC和手機(jī)發(fā)生的網(wǎng)絡(luò)數(shù)據(jù)包庐完，捕獲到的數(shù)據(jù)包就會(huì)顯示在左側(cè)，隨著時(shí)間的推移徘熔，捕獲的數(shù)據(jù)包越來(lái)越多门躯，左側(cè)列表的內(nèi)容也會(huì)越來(lái)越多。
可以看到近顷，圖中左側(cè)顯示了Charles抓取到的請(qǐng)求站點(diǎn)生音，我們點(diǎn)擊任意一個(gè)條目便可以查看對(duì)應(yīng)請(qǐng)求的詳細(xì)信息，其中包括Request窒升、Response等內(nèi)容缀遍。
接下來(lái)清空Charles的抓取結(jié)果，點(diǎn)擊左側(cè)的掃帚按鈕即可清空當(dāng)前捕獲到的所有請(qǐng)求饱须。然后點(diǎn)擊第二個(gè)監(jiān)聽(tīng)按鈕域醇，確保監(jiān)聽(tīng)按鈕是打開(kāi)的，這表示Charles正在監(jiān)聽(tīng)App的網(wǎng)絡(luò)數(shù)據(jù)流，如下圖所示譬挚。
這時(shí)打開(kāi)手機(jī)京東锅铅，注意一定要提前設(shè)置好Charles的代理并配置好CA證書，否則沒(méi)有效果减宣。
打開(kāi)任意一個(gè)商品盐须，如iPhone，然后打開(kāi)它的商品評(píng)論頁(yè)面漆腌，如下圖示贼邓。
不斷上拉加載評(píng)論，可以看到Charles捕獲到這個(gè)過(guò)程中京東App內(nèi)發(fā)生的所有網(wǎng)絡(luò)請(qǐng)求闷尿，如下圖所示塑径。
左側(cè)列表中會(huì)出現(xiàn)一個(gè)api.m.jd.com鏈接，而且它在不停閃動(dòng)填具，很可能就是當(dāng)前App發(fā)出的獲取評(píng)論數(shù)據(jù)的請(qǐng)求被Charles捕獲到了统舀。我們點(diǎn)擊將其展開(kāi)，繼續(xù)上拉刷新評(píng)論劳景。隨著上拉的進(jìn)行誉简，此處又會(huì)出現(xiàn)一個(gè)個(gè)網(wǎng)絡(luò)請(qǐng)求記錄，這時(shí)新出現(xiàn)的數(shù)據(jù)包請(qǐng)求確定就是獲取評(píng)論的請(qǐng)求枢泰。
為了驗(yàn)證其正確性描融，我們點(diǎn)擊查看其中一個(gè)條目的詳情信息。切換到Contents選項(xiàng)卡衡蚂，這時(shí)我們發(fā)現(xiàn)一些JSON數(shù)據(jù)窿克，核對(duì)一下結(jié)果，結(jié)果有commentData字段毛甲，其內(nèi)容和我們?cè)贏pp中看到的評(píng)論內(nèi)容一致年叮，如下圖所示。
這時(shí)可以確定玻募，此請(qǐng)求對(duì)應(yīng)的接口就是獲取商品評(píng)論的接口只损。這樣我們就成功捕獲到了在上拉刷新的過(guò)程中發(fā)生的請(qǐng)求和響應(yīng)內(nèi)容。
五七咧、分析
現(xiàn)在分析一下這個(gè)請(qǐng)求和響應(yīng)的詳細(xì)信息跃惫。首先可以回到Overview選項(xiàng)卡，上方顯示了請(qǐng)求的接口URL艾栋，接著是響應(yīng)狀態(tài)Status Code爆存、請(qǐng)求方式Method等，如下圖所示蝗砾。
這個(gè)結(jié)果和原本在Web端用瀏覽器開(kāi)發(fā)者工具內(nèi)捕獲到的結(jié)果形式是類似的先较。
接下來(lái)點(diǎn)擊Contents選項(xiàng)卡携冤，查看該請(qǐng)求和響應(yīng)的詳情信息。
上半部分顯示的是Request的信息闲勺，下半部分顯示的是Response的信息曾棕。比如針對(duì)Reqeust，我們切換到Headers選項(xiàng)卡即可看到該Request的Headers信息菜循，針對(duì)Response翘地，我們切換到JSON TEXT選項(xiàng)卡即可看到該Response的Body信息，并且該內(nèi)容已經(jīng)被格式化债朵，如下圖所示子眶。
由于這個(gè)請(qǐng)求是POST請(qǐng)求，我們還需要關(guān)心POST的表單信息序芦，切換到Form選項(xiàng)卡即可查看，如下圖所示粤咪。
這樣我們就成功抓取App中的評(píng)論接口的請(qǐng)求和響應(yīng)谚中，并且可以查看Response返回的JSON數(shù)據(jù)。
至于其他App寥枝，我們同樣可以使用這樣的方式來(lái)分析宪塔。如果我們可以直接分析得到請(qǐng)求的URL和參數(shù)的規(guī)律，直接用程序模擬即可批量抓取囊拜。
六某筐、重發(fā)
Charles還有一個(gè)強(qiáng)大功能，它可以將捕獲到的請(qǐng)求加以修改并發(fā)送修改后的請(qǐng)求冠跷。點(diǎn)擊上方的修改按鈕南誊，左側(cè)列表就多了一個(gè)以編輯圖標(biāo)為開(kāi)頭的鏈接，這就代表此鏈接對(duì)應(yīng)的請(qǐng)求正在被我們修改蜜托，如下圖所示抄囚。
我們可以將Form中的某個(gè)字段移除，比如這里將partner字段移除橄务，然后點(diǎn)擊Remove幔托。這時(shí)我們已經(jīng)對(duì)原來(lái)請(qǐng)求攜帶的Form Data做了修改，然后點(diǎn)擊下方的Execute按鈕即可執(zhí)行修改后的請(qǐng)求蜂挪，如下圖所示重挑。
可以發(fā)現(xiàn)左側(cè)列表再次出現(xiàn)了接口的請(qǐng)求結(jié)果，內(nèi)容仍然不變棠涮，如下圖所示谬哀。
刪除Form表單中的partner字段并沒(méi)有帶來(lái)什么影響，所以這個(gè)字段是無(wú)關(guān)緊要的故爵。
有了這個(gè)功能玻粪，我們就可以方便地使用Charles來(lái)做調(diào)試隅津，可以通過(guò)修改參數(shù)、接口等來(lái)測(cè)試不同請(qǐng)求的響應(yīng)狀態(tài)劲室，就可以知道哪些參數(shù)是必要的哪些是不必要的伦仍，以及參數(shù)分別有什么規(guī)律，最后得到一個(gè)最簡(jiǎn)單的接口和參數(shù)形式以供程序模擬調(diào)用使用很洋。
七充蓝、結(jié)語(yǔ)
以上內(nèi)容便是通過(guò)Charles抓包分析App請(qǐng)求的過(guò)程。通過(guò)Charles喉磁，我們成功抓取App中流經(jīng)的網(wǎng)絡(luò)數(shù)據(jù)包谓苟，捕獲原始的數(shù)據(jù)，還可以修改原始請(qǐng)求和重新發(fā)起修改后的請(qǐng)求進(jìn)行接口測(cè)試协怒。
知道了請(qǐng)求和響應(yīng)的具體信息涝焙，如果我們可以分析得到請(qǐng)求的URL和參數(shù)的規(guī)律，直接用程序模擬即可批量抓仍邢尽仑撞！
但是隨著技術(shù)的發(fā)展，app接口往往會(huì)帶有秘鑰妖滔，我們并不能直接找到這些規(guī)律隧哮，那么咋辦呢？接下來(lái)座舍，我們將了解Charles和mitmdump直接對(duì)接Python實(shí)時(shí)處理抓取到的Response的過(guò)程沮翔。
