國家統(tǒng)計(jì)局爬取數(shù)據(jù)練手(以GDP為例)

第一步:確定目標(biāo)地址

國家統(tǒng)計(jì)統(tǒng)計(jì)局網(wǎng)址:http://data.stats.gov.cn/easyquery.htm?cn=C01

1.1????找的國內(nèi)生產(chǎn)總值,即需要爬取的數(shù)據(jù)

1.2? ? ?鼠標(biāo)右擊--->檢查網(wǎng)頁源代碼--->在網(wǎng)頁源代碼中查找是否存在我們需要的數(shù)據(jù)(Ctrl+F,在查找框中輸入要查找的數(shù)據(jù))


由此可以判斷膏孟,我們需要的數(shù)據(jù)并不是直接在HTML頁面中(數(shù)據(jù)是動態(tài)加載的孵稽,即url并不是地址欄中的地址),所以我們需要去判斷誰是真正的url

1.3? ? 按F12


選中Network---->XHR(動態(tài)數(shù)據(jù)都會在這里面)---->重新刷新頁面---->在開發(fā)者界面中找到我們的數(shù)據(jù)包

在數(shù)據(jù)包中的Headers部分找到Request URL (這就是我們所需要的URL)


第二步:獲得數(shù)據(jù)

通過python中requests庫肾扰,模擬瀏覽器發(fā)起請求鸳吸,獲得我們所需要的數(shù)據(jù)包(其中包含我們所需要的數(shù)據(jù))

第三步:解析數(shù)據(jù)

本次爬蟲解析數(shù)據(jù)的方式比較基礎(chǔ)艘刚,通過定位+循環(huán)的方式即可獲得數(shù)據(jù)


第四步:保存數(shù)據(jù)

通過python的csv模塊张肾,保存數(shù)據(jù)芭析,即可,代碼如上

第五步:欣賞實(shí)驗(yàn)結(jié)果


源代碼
結(jié)果
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末吞瞪,一起剝皮案震驚了整個濱河市馁启,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌尸饺,老刑警劉巖进统,帶你破解...
    沈念sama閱讀 218,204評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件助币,死亡現(xiàn)場離奇詭異浪听,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)眉菱,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,091評論 3 395
  • 文/潘曉璐 我一進(jìn)店門迹栓,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人俭缓,你說我怎么就攤上這事克伊。” “怎么了华坦?”我有些...
    開封第一講書人閱讀 164,548評論 0 354
  • 文/不壞的土叔 我叫張陵愿吹,是天一觀的道長。 經(jīng)常有香客問我惜姐,道長犁跪,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,657評論 1 293
  • 正文 為了忘掉前任歹袁,我火速辦了婚禮坷衍,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘条舔。我一直安慰自己枫耳,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,689評論 6 392
  • 文/花漫 我一把揭開白布孟抗。 她就那樣靜靜地躺著迁杨,像睡著了一般钻心。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上铅协,一...
    開封第一講書人閱讀 51,554評論 1 305
  • 那天扔役,我揣著相機(jī)與錄音,去河邊找鬼警医。 笑死亿胸,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的预皇。 我是一名探鬼主播侈玄,決...
    沈念sama閱讀 40,302評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼吟温!你這毒婦竟也來了序仙?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,216評論 0 276
  • 序言:老撾萬榮一對情侶失蹤鲁豪,失蹤者是張志新(化名)和其女友劉穎潘悼,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體爬橡,經(jīng)...
    沈念sama閱讀 45,661評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡治唤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,851評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了糙申。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片宾添。...
    茶點(diǎn)故事閱讀 39,977評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖柜裸,靈堂內(nèi)的尸體忽然破棺而出缕陕,到底是詐尸還是另有隱情,我是刑警寧澤疙挺,帶...
    沈念sama閱讀 35,697評論 5 347
  • 正文 年R本政府宣布扛邑,位于F島的核電站,受9級特大地震影響铐然,放射性物質(zhì)發(fā)生泄漏蔬崩。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,306評論 3 330
  • 文/蒙蒙 一锦爵、第九天 我趴在偏房一處隱蔽的房頂上張望舱殿。 院中可真熱鬧,春花似錦险掀、人聲如沸沪袭。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,898評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽冈绊。三九已至侠鳄,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間死宣,已是汗流浹背伟恶。 一陣腳步聲響...
    開封第一講書人閱讀 33,019評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留毅该,地道東北人博秫。 一個月前我還...
    沈念sama閱讀 48,138評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像眶掌,于是被迫代替她去往敵國和親挡育。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,927評論 2 355