如何抓取和分析互聯(lián)網(wǎng)公開數(shù)據(jù)

摘要: 互聯(lián)網(wǎng)蘊藏著豐富的公開數(shù)據(jù)資源,通過獲取這些數(shù)據(jù)凭舶,作為城市研究的輔助支撐,是未來城市研究者必備的技能之一爱沟,近期我們也會繼續(xù)介紹一些簡單有趣的公開數(shù)據(jù)分析應(yīng)用帅霜。在互聯(lián)網(wǎng)領(lǐng)域,對數(shù)據(jù)的抓取叫做“采集”呼伸,在 ...

工具
基礎(chǔ)
大數(shù)據(jù)
數(shù)據(jù)分析
案例
互聯(lián)網(wǎng)
互聯(lián)網(wǎng)蘊藏著豐富的公開數(shù)據(jù)資源身冀,通過獲取這些數(shù)據(jù),作為城市研究的輔助支撐括享,是未來城市研究者必備的技能之一搂根,近期我們也會繼續(xù)介紹一些簡單有趣的公開數(shù)據(jù)分析應(yīng)用。

在互聯(lián)網(wǎng)領(lǐng)域铃辖,對數(shù)據(jù)的抓取叫做“采集”剩愧,在采集工具的作用下,可以很快的抓取一個網(wǎng)站的整站數(shù)據(jù)娇斩,而如果這些數(shù)據(jù)能夠輔助我們的部分決策仁卷,那么這個工具和方法值得一學(xué)。(本文中數(shù)據(jù)抓取工具為“火車頭”軟件)

西安建筑科技大學(xué)城市體驗犬第、模擬與分析實驗中心的鄭曉偉為我們分享了他在開放數(shù)據(jù)獲取方法及應(yīng)用分析技術(shù)中的經(jīng)驗锦积。

開放數(shù)據(jù)(大數(shù)據(jù))的相關(guān)基礎(chǔ)知識

開放數(shù)據(jù)和大數(shù)據(jù)的區(qū)別

開放數(shù)據(jù):商業(yè)網(wǎng)站(大眾點評、安居客等)數(shù)據(jù)歉嗓、地圖開放平臺數(shù)據(jù)丰介、社交媒體(新浪微博)數(shù)據(jù)、政府政務(wù)公開數(shù)據(jù)等。

大數(shù)據(jù):手機信令數(shù)據(jù)基矮、浮動車數(shù)據(jù)(例如車載GPS淆储、公交刷卡、地鐵刷卡)等家浇。

大數(shù)據(jù)是近似全樣本數(shù)據(jù)本砰,而開放數(shù)據(jù)是非全樣本數(shù)據(jù):

對于大部分建筑學(xué)背景的城市規(guī)劃師(計算機基礎(chǔ)≠0,編程基礎(chǔ)=0钢悲,網(wǎng)絡(luò)知識基礎(chǔ)=0点额,數(shù)理統(tǒng)計基礎(chǔ)≈0,…)來講莺琳,如何通過一定的手段獲取各類開放數(shù)據(jù)(大數(shù)據(jù))是進行各層面还棱、各類型城市規(guī)劃定量分析的最大障礙!

運用互聯(lián)網(wǎng)數(shù)據(jù)進行城市規(guī)劃與研究所使用的主要工具及流程

案例應(yīng)用

以下開始介紹運用“大眾點評網(wǎng)(dianping.com)”數(shù)據(jù)對西安市城市公共中心體系識別與優(yōu)化調(diào)整的研究惭等。

總結(jié)

1珍手、大數(shù)據(jù)獲取難度較大(特別是城市發(fā)展相對落后地區(qū))

2、開放數(shù)據(jù)為非全樣本數(shù)據(jù)辞做,分析結(jié)果與實際存在一定的偏差琳要,需要通過多種方式對數(shù)據(jù)進行補充

3、對數(shù)據(jù)的處理方法和處理技術(shù)尚處在探索與入門階段秤茅,需要結(jié)合城市規(guī)劃專業(yè)的特點進行長期不懈的努力和技術(shù)創(chuàng)新

4稚补、未來用于城市現(xiàn)狀調(diào)查和規(guī)劃實施具有重要意義,如何在規(guī)劃設(shè)計過程中應(yīng)用大數(shù)據(jù)尚在探索當(dāng)中

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末框喳,一起剝皮案震驚了整個濱河市课幕,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌五垮,老刑警劉巖乍惊,帶你破解...
    沈念sama閱讀 212,599評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異放仗,居然都是意外死亡污桦,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,629評論 3 385
  • 文/潘曉璐 我一進店門匙监,熙熙樓的掌柜王于貴愁眉苦臉地迎上來凡橱,“玉大人,你說我怎么就攤上這事亭姥〖诠常” “怎么了?”我有些...
    開封第一講書人閱讀 158,084評論 0 348
  • 文/不壞的土叔 我叫張陵达罗,是天一觀的道長坝撑。 經(jīng)常有香客問我静秆,道長,這世上最難降的妖魔是什么巡李? 我笑而不...
    開封第一講書人閱讀 56,708評論 1 284
  • 正文 為了忘掉前任抚笔,我火速辦了婚禮,結(jié)果婚禮上侨拦,老公的妹妹穿的比我還像新娘殊橙。我一直安慰自己,他們只是感情好狱从,可當(dāng)我...
    茶點故事閱讀 65,813評論 6 386
  • 文/花漫 我一把揭開白布膨蛮。 她就那樣靜靜地躺著,像睡著了一般季研。 火紅的嫁衣襯著肌膚如雪铲汪。 梳的紋絲不亂的頭發(fā)上琉朽,一...
    開封第一講書人閱讀 50,021評論 1 291
  • 那天摘悴,我揣著相機與錄音魏蔗,去河邊找鬼。 笑死驼卖,一個胖子當(dāng)著我的面吹牛氨肌,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播款慨,決...
    沈念sama閱讀 39,120評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼谬莹!你這毒婦竟也來了檩奠?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,866評論 0 268
  • 序言:老撾萬榮一對情侶失蹤附帽,失蹤者是張志新(化名)和其女友劉穎埠戳,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蕉扮,經(jīng)...
    沈念sama閱讀 44,308評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡整胃,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,633評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了喳钟。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片屁使。...
    茶點故事閱讀 38,768評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖奔则,靈堂內(nèi)的尸體忽然破棺而出蛮寂,到底是詐尸還是另有隱情,我是刑警寧澤易茬,帶...
    沈念sama閱讀 34,461評論 4 333
  • 正文 年R本政府宣布酬蹋,位于F島的核電站及老,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏范抓。R本人自食惡果不足惜骄恶,卻給世界環(huán)境...
    茶點故事閱讀 40,094評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望匕垫。 院中可真熱鬧僧鲁,春花似錦、人聲如沸年缎。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,850評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽单芜。三九已至蜕该,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間洲鸠,已是汗流浹背堂淡。 一陣腳步聲響...
    開封第一講書人閱讀 32,082評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留扒腕,地道東北人绢淀。 一個月前我還...
    沈念sama閱讀 46,571評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像瘾腰,于是被迫代替她去往敵國和親皆的。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,666評論 2 350

推薦閱讀更多精彩內(nèi)容