90秒抓取安卓APP數(shù)據(jù)教程

工具:fiddler
抓取對象:實習(xí)僧APP
代碼實現(xiàn):Python & requests

1.打開 fiddler 并將手機連接到?fiddler 監(jiān)聽的端口
(1)在命令窗口輸入ipconfig, 查看本機IP地址。不建議通過百度查詢IP,因為有時會有偏差,而fiddler是以前者為準(zhǔn)。

查看IP

(2)打開手機侦香,連接無線網(wǎng)(隨便一個),然后在代理設(shè)置里面,將上一步查詢到的IP地址填在主機名或IP那里袱吆,端口填寫8888(fiddler默認(rèn))。設(shè)置好以后距淫,如果打開APP后fiddler出現(xiàn)如下情況杆故,則監(jiān)聽成功。

成功界面


2.得到需要的URL
(1)首先點擊×號清空已經(jīng)截獲的數(shù)據(jù)溉愁,在APP上打開想要爬取的頁面(這里以職位查詢頁面為例)处铛,便可以輕松獲取信息,點擊最新的一個會話拐揭,查看詳細(xì)信息撤蟆。

最新會話

(2)點擊右側(cè)的 Inspectors ,然后點擊下方的 JSON 選項(上面一欄是 Request, 下面一欄是 Response)堂污。如果能夠查看到正常的數(shù)據(jù)家肯,則代表這個會話是我們需要的,然后點擊 Request欄中的 Raw 查看請求地址

數(shù)據(jù)正常
請求地址


3. 分析請求
通過多次嘗試不同的篩選值盟猖,得到如下關(guān)鍵字與數(shù)據(jù)的對應(yīng)關(guān)系:

對應(yīng)關(guān)系

有了對應(yīng)關(guān)系就可以更好地獲取自己想要的數(shù)據(jù)讨衣。


4.代碼實現(xiàn)

代碼實現(xiàn)

通過下方返回的數(shù)據(jù),大家可以看到抓取正常式镐,也代表我們對于關(guān)鍵字含義的猜測是正確的反镇。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市娘汞,隨后出現(xiàn)的幾起案子歹茶,更是在濱河造成了極大的恐慌,老刑警劉巖你弦,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件惊豺,死亡現(xiàn)場離奇詭異,居然都是意外死亡禽作,警方通過查閱死者的電腦和手機尸昧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來旷偿,“玉大人烹俗,你說我怎么就攤上這事碍沐。” “怎么了衷蜓?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵累提,是天一觀的道長。 經(jīng)常有香客問我磁浇,道長斋陪,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任置吓,我火速辦了婚禮无虚,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘衍锚。我一直安慰自己友题,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布戴质。 她就那樣靜靜地躺著度宦,像睡著了一般。 火紅的嫁衣襯著肌膚如雪告匠。 梳的紋絲不亂的頭發(fā)上戈抄,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天,我揣著相機與錄音后专,去河邊找鬼划鸽。 笑死,一個胖子當(dāng)著我的面吹牛戚哎,可吹牛的內(nèi)容都是我干的裸诽。 我是一名探鬼主播,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼型凳,長吁一口氣:“原來是場噩夢啊……” “哼丈冬!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起啰脚,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤殷蛇,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后橄浓,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡亮航,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年荸实,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片缴淋。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡准给,死狀恐怖泄朴,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情露氮,我是刑警寧澤祖灰,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站畔规,受9級特大地震影響局扶,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜叁扫,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一三妈、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧莫绣,春花似錦畴蒲、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至掩宜,卻和暖如春涧窒,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背锭亏。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工纠吴, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人慧瘤。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓戴已,卻偏偏與公主長得像,于是被迫代替她去往敵國和親锅减。 傳聞我的和親對象是個殘疾皇子糖儡,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,055評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 簡介 Fiddler(中文名稱:小提琴)是一個HTTP的調(diào)試代理,以代理服務(wù)器的方式怔匣,監(jiān)聽系統(tǒng)的Http網(wǎng)絡(luò)數(shù)據(jù)流...
    daoyidao閱讀 143,735評論 15 169
  • 簡介 用簡單的話來定義tcpdump握联,就是:dump the traffic on a network,根據(jù)使用者...
    保川閱讀 5,957評論 1 13
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,178評論 25 707
  • 昨日與表妹聊天每瞒,她接受家里給她安排工作金闽。她最后說,我也就不掙扎了剿骨,像咱們這樣家庭里的孩子代芜,是不會成大氣候的。 ...
  • 時間過得很快浓利,在無止境的打鬧中挤庇,轉(zhuǎn)眼之間到了暑假钞速。“咚咚……咚”“誰啊嫡秕,大早上的不會輕點敲門阿渴语,我打開門,又是...
    Babi串閱讀 254評論 0 2