工具:fiddler
抓取對象:實習(xí)僧APP
代碼實現(xiàn):Python & requests
1.打開 fiddler 并將手機連接到?fiddler 監(jiān)聽的端口
(1)在命令窗口輸入ipconfig, 查看本機IP地址。不建議通過百度查詢IP,因為有時會有偏差,而fiddler是以前者為準(zhǔn)。
查看IP
(2)打開手機侦香,連接無線網(wǎng)(隨便一個),然后在代理設(shè)置里面,將上一步查詢到的IP地址填在主機名或IP那里袱吆,端口填寫8888(fiddler默認(rèn))。設(shè)置好以后距淫,如果打開APP后fiddler出現(xiàn)如下情況杆故,則監(jiān)聽成功。
成功界面
2.得到需要的URL
(1)首先點擊×號清空已經(jīng)截獲的數(shù)據(jù)溉愁,在APP上打開想要爬取的頁面(這里以職位查詢頁面為例)处铛,便可以輕松獲取信息,點擊最新的一個會話拐揭,查看詳細(xì)信息撤蟆。
最新會話
(2)點擊右側(cè)的 Inspectors ,然后點擊下方的 JSON 選項(上面一欄是 Request, 下面一欄是 Response)堂污。如果能夠查看到正常的數(shù)據(jù)家肯,則代表這個會話是我們需要的,然后點擊 Request欄中的 Raw 查看請求地址
數(shù)據(jù)正常
請求地址
3. 分析請求
通過多次嘗試不同的篩選值盟猖,得到如下關(guān)鍵字與數(shù)據(jù)的對應(yīng)關(guān)系:
對應(yīng)關(guān)系
有了對應(yīng)關(guān)系就可以更好地獲取自己想要的數(shù)據(jù)讨衣。
4.代碼實現(xiàn)
代碼實現(xiàn)
通過下方返回的數(shù)據(jù),大家可以看到抓取正常式镐,也代表我們對于關(guān)鍵字含義的猜測是正確的反镇。