一：確定需求，比如需要哪些字段：
二：尋找能提供全部需求的數(shù)據(jù)源
1.如果能找到：
1.1分析數(shù)據(jù)加載的方式（動態(tài)or靜態(tài)）
1,2根據(jù)數(shù)據(jù)加載方式付材，分析是否有反扒，還有反扒的強(qiáng)度（抓包和進(jìn)行request）
1.3確定反扒強(qiáng)度：
1.3.1 if ok：
1.3.1.1確定數(shù)據(jù)類型數(shù)據(jù)格式，制定數(shù)據(jù)抽取規(guī)則，
1.3.1.2入庫位岔，successfully;
1.3.2 else:
回到二
2.如果找不到：
2.1.尋找數(shù)據(jù)源，多個數(shù)據(jù)源進(jìn)行拼湊
2.2在各個數(shù)據(jù)源下執(zhí)行 二.1
Python爬蟲數(shù)據(jù)抓取思路
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門浇借，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人怕品，你說我怎么就攤上這事妇垢。” “怎么了肉康？”我有些...
- 文/不壞的土叔 我叫張陵闯估，是天一觀的道長。 經(jīng)常有香客問我吼和，道長涨薪，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任炫乓，我火速辦了婚禮刚夺，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘末捣。我一直安慰自己侠姑，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開白布箩做。 她就那樣靜靜地躺著莽红，像睡著了一般。 火紅的嫁衣襯著肌膚如雪卒茬。 梳的紋絲不亂的頭發(fā)上船老，一...
- 文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼俘陷！你這毒婦竟也來了罗捎？” 一聲冷哼從身側(cè)響起，我...
- 正文 年R本政府宣布骗灶，位于F島的核電站，受9級特大地震影響酷麦，放射性物質(zhì)發(fā)生泄漏矿卑。R本人自食惡果不足惜，卻給世界環(huán)境...
- 文/蒙蒙 一沃饶、第九天 我趴在偏房一處隱蔽的房頂上張望母廷。 院中可真熱鬧，春花似錦糊肤、人聲如沸琴昆。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽业舍。三九已至，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間舷暮，已是汗流浹背态罪。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具（例如配置管理机杜，服務(wù)發(fā)現(xiàn)帜讲，斷路器，智...
- 1.ios高性能編程 (1).內(nèi)層 最小的內(nèi)層平均值和峰值(2).耗電量 高效的算法和數(shù)據(jù)結(jié)構(gòu)(3).初始化時...
- 不記得從什么時候似将，我開始玩天天愛消除這款游戲。隱約記得是有一次等車蚀苛，窮極無聊玩郊，隨手下載了這個游戲。 最初玩經(jīng)典模式...
