如何采集級(jí)聯(lián)數(shù)據(jù)(比如最新省市縣)呢摄凡？

概述

通常抓取級(jí)聯(lián)數(shù)數(shù)據(jù)情況不多送火，但要是真需要時(shí)槽片，確多了一些麻煩啤斗，比如抓取商品分類級(jí)別信息等焚鲜。本內(nèi)容將講述如何采集無(wú)限級(jí)聯(lián)聯(lián)數(shù)據(jù)曲尸，并以GoldData來抓取2019年最新的省市縣三級(jí)為示例紊册。

創(chuàng)建數(shù)據(jù)集

在數(shù)據(jù)集管理里比肄，添加數(shù)據(jù)集area。如下圖所示：

數(shù)據(jù)集相當(dāng)于數(shù)據(jù)庫(kù)中的表囊陡，只是字段是靈活的芳绩，可以隨著需要而添加和變更。

創(chuàng)建規(guī)則

在規(guī)則管理里撞反，添加規(guī)則arearule妥色，并將地址http://xzqh.mca.gov.cn/map?填為抓取入口地址。

我們通過分析可知遏片，我們可從http://xzqh.mca.gov.cn/map?獲取省級(jí)數(shù)據(jù)嘹害，然后通過級(jí)級(jí)數(shù)據(jù)請(qǐng)求http://xzqh.mca.gov.cn/selectJson?帶有省級(jí)名稱來獲得市級(jí)數(shù)據(jù)，最后再通過市級(jí)數(shù)據(jù)分別請(qǐng)求http://xzqh.mca.gov.cn/selectJson?帶有市級(jí)數(shù)據(jù)來獲得縣級(jí)數(shù)據(jù)吮便。

并且發(fā)現(xiàn)請(qǐng)求?http://xzqh.mca.gov.cn/selectJson?是需要發(fā)POST請(qǐng)求的笔呀，因此我們需要將url加個(gè)前綴fake:,然后用規(guī)則里用JavaScript去請(qǐng)求URL。

我們?cè)诖司帉懙腶rea數(shù)據(jù)集髓需，有以下字段：

名稱說明

sn取區(qū)域編碼作為記錄唯一字段

name名稱

code取區(qū)域編碼

abbr省名簡(jiǎn)寫

parent_code取父區(qū)域編碼

因此編寫規(guī)則如下：

（注：具體規(guī)則內(nèi)容請(qǐng)見文章最后）

然后編寫完成后许师，我們就可以啟動(dòng)抓取器進(jìn)行抓取。

查看數(shù)據(jù)

打開數(shù)據(jù)管理，選擇area數(shù)據(jù)集查看如下圖所示：

導(dǎo)出數(shù)據(jù)

回到數(shù)據(jù)管理微渠，選擇條件搭幻，選擇需要導(dǎo)出的字段，進(jìn)行導(dǎo)出逞盆。像這里數(shù)據(jù)比較多檀蹋，GoldData將會(huì)以打包excel文件并壓縮為zip文件下載。解壓到本地纳击，然后打開excel就可以看到抓取的數(shù)據(jù)续扔，如下圖所示：

結(jié)尾

通過這節(jié)內(nèi)容，可以了解了如何通過GoldData 抓取級(jí)聯(lián)數(shù)據(jù)焕数。但是下一個(gè)問題是如何將數(shù)據(jù)導(dǎo)入自關(guān)聯(lián)列表呢纱昧，且看下一往篇將會(huì)講述如何將級(jí)聯(lián)數(shù)據(jù)融合到數(shù)據(jù)庫(kù)自關(guān)聯(lián)表當(dāng)中。

咐錄：

（抓取規(guī)則）

[

? {

? ? __sample: http://xzqh.mca.gov.cn/map

? ? match0: http\:\/\/xzqh\.mca\.gov\.cn\/map

? ? fields0:

? ? {

? ? ? __model: true? ? ? __node: js

? ? ? __js:

? ? ? ? '''

? ? ? ? var exp11=/json\s=\s(.+)\s+\$\(doc/

? ? ? ? var ret=exp11.exec(html)

? ? ? ? var ss=eval(ret[1])

? ? ? ? for(var i=0;i<ss.length;i++){

? ? ? ? ? var ele=ss[i]

? ? ? ? ? var exp12=/$(.+)$/.exec(ele.shengji)

? ? ? ? var exp13=/(.+)\(/.exec(ele.shengji)

? ? ? ? ? out.add({sn:ele.quHuaDaiMa,name:exp13[1],code:ele.quHuaDaiMa,abbr:exp12[1],

? ? ? ? parent_code:null,

? ? ? ? })

? ? ? ? }

? ? ? ? '''

? ? ? name:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? code:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? abbr:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? sn:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? __dataset: area

? ? ? parent_code:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? }

? ? fields1:

? ? {

? ? ? __node: js

? ? ? __js:

? ? ? ? '''

? ? ? ? var exp11=/json\s=\s(.+)\s+\$\(doc/

? ? ? ? var ret=exp11.exec(html)

? ? ? ? var ss=eval(ret[1])

? ? ? ? for(var i=0;i<ss.length;i++){

? ? ? ? ? var ele=ss[i]

? ? ? ? ? var url='fake:http://xzqh.mca.gov.cn/selectJson?shengji='+ele.shengji+"&code="+ele.quHuaDaiMa

? ? ? ? ? //var $ajax(url,[__method:'POST',data:'shengji='+ele.shengji]).content

? ? ? ? ? out.add({href:url})

? ? ? ? }

? ? ? ? '''

? ? ? href:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? }

? }

? {

? ? __sample: fake:http://xzqh.mca.gov.cn/selectJson?shengji=北京市(京)&code=110000? ? match0: fake\:http\:\/\/xzqh\.mca\.gov\.cn\/selectJson\?shengji=.+\&code=\d+

? ? fields0:

? ? {

? ? ? __model: true? ? ? __dataset: area

? ? ? sn:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? __node: js

? ? ? __js:

? ? ? ? '''

? ? ? ? var urlRet= /http\:\/\/xzqh\.mca\.gov\.cn\/selectJson\?shengji=(.+)\&code=(\d+)/.exec(baseUri);

? ? ? ? var shengji=urlRet[1]

? ? ? ? var sjCode=urlRet[2]

? ? ? ? var url='http://xzqh.mca.gov.cn/selectJson'

? ? ? ? var? content=$ajax(url,{__method:'POST',data:'shengji='+shengji }).content

? ? ? ? var arr=eval(content);

? ? ? ? for(var i=0;i<arr.length;i++){

? ? ? ? ? var dj=arr[i];

? ? ? ? ? ? var area={

? ? ? ? ? ? ? ? name:dj.diji,

? ? ? ? ? ? ? ? code:dj.quHuaDaiMa,

? ? ? ? ? ? ? ? parent_code:sjCode,

? ? ? ? ? ? ? ? sn:dj.quHuaDaiMa,

? ? ? ? ? ? }

? ? ? ? ? out.add(area);

? ? ? ? }

? ? ? ? '''

? ? ? name:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? code:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? abbr:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? sn:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? parent_code:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? }

? ? fields1:

? ? {

? ? ? __node: js

? ? ? __js:

? ? ? ? '''

? ? ? ? var urlRet= /http\:\/\/xzqh\.mca\.gov\.cn\/selectJson\?shengji=(.+)\&code=(\d+)/.exec(baseUri);

? ? ? ? var shengji=urlRet[1]

? ? ? ? var sjCode=urlRet[2]

? ? ? ? var url='http://xzqh.mca.gov.cn/selectJson'

? ? ? ? var? content=$ajax(url,{__method:'POST',data:'shengji='+shengji }).content

? ? ? ? var arr=eval(content);

? ? ? ? for(var i=0;i<arr.length;i++){

? ? ? ? ? var dj=arr[i];

? ? ? ? ? var url='fake:http://xzqh.mca.gov.cn/selectJson?shengji='+shengji+"&sjcode="+sjCode+"&diji="+dj.diji+"&djcode="+dj.quHuaDaiMa?

? ? ? ? ? out.add({href:url})

? ? ? ? }

? ? ? ? '''

? ? ? href:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? }

? }

? {

? ? __sample: fake:href :fake:http://xzqh.mca.gov.cn/selectJson?shengji=北京市(京)&sjcode=110000&diji=北京市&djcode=110000? ? match0: fake\:http\:\/\/xzqh\.mca\.gov\.cn/selectJson\?shengji=([^&]+)\&sjcode=([^&]+)\&diji=([^&]+)\&djcode=([^&]+)

? ? fields0:

? ? {

? ? ? __model: true? ? ? __dataset: area

? ? ? __node: js

? ? ? sn:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? __js:

? ? ? ? '''

? ? ? ? var urlRet=/fake\:http\:\/\/xzqh\.mca\.gov\.cn\/selectJson\?shengji=([^\&]+)\&sjcode=([^\&]+)\&diji=([^\&]+)\&djcode=([^\&]+)/.exec(baseUri)

? ? ? ? var shengji=urlRet[1]

? ? ? ? var sjCode=urlRet[2]

? ? ? ? var dj=urlRet[3]

? ? ? ? var djCode=urlRet[4]

? ? ? ? var url='http://xzqh.mca.gov.cn/selectJson'

? ? ? ? var? content=$ajax(url,{__method:'POST',data:'shengji='+shengji+'&diji='+dj }).content

? ? ? ? var arr=eval(content);

? ? ? ? for(var i=0;i<arr.length;i++){

? ? ? ? ? var dj=arr[i];

? ? ? ? ? ? var area={

? ? ? ? ? ? ? ? name:dj.xianji,

? ? ? ? ? ? ? ? code:dj.quHuaDaiMa,

? ? ? ? ? ? ? ? parent_code:djCode,

? ? ? ? ? ? ? ? sn:dj.quHuaDaiMa,

? ? ? ? ? ? }

? ? ? ? ? out.add(area);

? ? ? ? }

? ? ? ? '''

? ? ? name:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? code:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? abbr:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? sn:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? ? parent_code:

? ? ? {

? ? ? ? expr: ""? ? ? ? attr: ""? ? ? ? js: ""? ? ? ? __label: ""? ? ? ? __showOnList: false? ? ? ? __type: ""? ? ? ? down: "0"? ? ? ? accessPathJs: ""? ? ? ? uploadConf: ""? ? ? }

? ? }

? }

]

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末堡赔，一起剝皮案震驚了整個(gè)濱河市识脆，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌善已，老刑警劉巖灼捂，帶你破解...
沈念sama閱讀 218,640評(píng)論 6贊 507
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異换团，居然都是意外死亡悉稠，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,254評(píng)論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門艘包，熙熙樓的掌柜王于貴愁眉苦臉地迎上來的猛，“玉大人，你說我怎么就攤上這事想虎∝宰穑” “怎么了？”我有些...
開封第一講書人閱讀 165,011評(píng)論 0贊 355
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵舌厨，是天一觀的道長(zhǎng)岂却。經(jīng)常有香客問我，道長(zhǎng)裙椭，這世上最難降的妖魔是什么躏哩？我笑而不...
開封第一講書人閱讀 58,755評(píng)論 1贊 294
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮揉燃，結(jié)果婚禮上震庭，老公的妹妹穿的比我還像新娘。我一直安慰自己你雌，他們只是感情好器联，可當(dāng)我...
茶點(diǎn)故事閱讀 67,774評(píng)論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布二汛。她就那樣靜靜地躺著，像睡著了一般拨拓。火紅的嫁衣襯著肌膚如雪肴颊。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,610評(píng)論 1贊 305
城市分裂傳說
那天渣磷，我揣著相機(jī)與錄音婿着，去河邊找鬼。笑死醋界，一個(gè)胖子當(dāng)著我的面吹牛竟宋，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播形纺，決...
沈念sama閱讀 40,352評(píng)論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼丘侠，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來了逐样？” 一聲冷哼從身側(cè)響起蜗字，我...
開封第一講書人閱讀 39,257評(píng)論 0贊 276
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎脂新，沒想到半個(gè)月后挪捕，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,717評(píng)論 1贊 315
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡争便，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,894評(píng)論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年级零，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片滞乙。...
茶點(diǎn)故事閱讀 40,021評(píng)論 1贊 350
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡奏纪，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出酷宵，到底是詐尸還是另有隱情亥贸，我是刑警寧澤躬窜，帶...
沈念sama閱讀 35,735評(píng)論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布浇垦，位于F島的核電站，受9級(jí)特大地震影響荣挨，放射性物質(zhì)發(fā)生泄漏男韧。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,354評(píng)論 3贊 330
男人毒藥：我在死后第九天來索命
文/蒙蒙一默垄、第九天我趴在偏房一處隱蔽的房頂上張望此虑。院中可真熱鬧，春花似錦口锭、人聲如沸朦前。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,936評(píng)論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)韭寸。三九已至春哨，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間恩伺，已是汗流浹背赴背。一陣腳步聲響...
開封第一講書人閱讀 33,054評(píng)論 1贊 270
情欲美人皮
我被黑心中介騙來泰國(guó)打工，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留晶渠，地道東北人凰荚。一個(gè)月前我還...
沈念sama閱讀 48,224評(píng)論 3贊 371
代替公主和親
正文我出身青樓，卻偏偏與公主長(zhǎng)得像褒脯，于是被迫代替她去往敵國(guó)和親便瑟。傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,974評(píng)論 2贊 355

如何采集級(jí)聯(lián)數(shù)據(jù)(比如最新省市縣)呢内边？

如何采集級(jí)聯(lián)數(shù)據(jù)(比如最新省市縣)呢摄凡？

推薦閱讀更多精彩內(nèi)容