文/恰恰天藍(lán)
1
我本人十分喜歡擺弄數(shù)據(jù)馏段,但從來沒有如『城市數(shù)據(jù)團(tuán)』這么深入過轩拨,原來數(shù)據(jù)是如此好玩有趣,且有意義院喜。
一路讀來亡蓉,還算輕松有趣,寫作的口吻有很大的戲謔成分喷舀,且排版編輯砍濒,數(shù)據(jù)復(fù)核處有些許錯誤(如P116),似乎極不嚴(yán)謹(jǐn)元咙,給予本書不好的印象梯影,但讀到末尾,作者對此情節(jié)有所交代庶香,原來是被逼的甲棍!
因此我對書中的結(jié)論大多數(shù)呈懷疑態(tài)度,這其中夾雜著多種因素,姑且不去考慮我的個人認(rèn)知問題感猛,因其書中數(shù)據(jù)來源七扰,指標(biāo)設(shè)計,推理過程等的復(fù)雜性陪白,有些結(jié)論我還是選擇不能完全認(rèn)同颈走。
畢竟,城市數(shù)據(jù)團(tuán)是一幫上班族和在校生的數(shù)據(jù)愛好者聚在一起利用業(yè)余時間來做的咱士,加之?dāng)?shù)據(jù)的來源他們無從把握立由,所以其完整性、可靠性必然大打折扣序厉。
難能可貴的是锐膜,一般年輕人無功利的做這件事,我的鼓勵多過苛責(zé)弛房,這是一撥有責(zé)任感無私的人道盏。用進(jìn)化的眼光看,他們會學(xué)習(xí)成長文捶,會迭代更新荷逞,定會越來越好。同時粹排,我也能看到業(yè)余社團(tuán)(非技術(shù)不專業(yè))的參與社會管理的力量种远,這迫使ZF與民間更多、更好地互動和良性溝通顽耳,其實ZF也不要怕民眾(稱蠻流)院促,民眾也不要怕ZF(陰謀陷害),隨著社會的發(fā)展斧抱,公共事務(wù)的透明化是一個趨勢,一件事情好與不好渐溶,信與不信辉浦,不會再是『至于你們信不信,我反正信了』茎辐。
此路不通宪郊,會開辟新路。分享傳遞拖陆,引發(fā)關(guān)注弛槐、討論,參與精進(jìn)依啰。
城市數(shù)據(jù)團(tuán)好樣的乎串!
2
數(shù)據(jù)分析和文章創(chuàng)作的方法
一、數(shù)據(jù)分析和寫作流程
首先速警,選擇大致的研究方向叹誉。綜合考慮研究需求鸯两、時效性、趣味性和可行性长豁。
第二钧唐,列出可能用到的數(shù)據(jù)和研究方法,并通過各種渠道獲取數(shù)據(jù)匠襟。接著钝侠,對數(shù)據(jù)進(jìn)行預(yù)處理。包括數(shù)據(jù)清新酸舍、數(shù)據(jù)集成帅韧、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等父腕。
第三弱匪,對總體情況進(jìn)行簡單統(tǒng)計,發(fā)掘和調(diào)整選題璧亮。目的是了解每一個數(shù)據(jù)字段的基本屬性萧诫、頻率分布、隨著時間或地域的變化趨勢枝嘶,以及尋找多個字段間可能存在的交互影響帘饶,從而得到一些較為具體的、值得進(jìn)一步研究的選題群扶。逐一分析每個題目及刻,進(jìn)行取舍。
第四竞阐,梳理邏輯缴饭,精煉結(jié)論,撰寫文章骆莹。注意颗搂,文章撰寫和數(shù)據(jù)分析就相輔相成、同時進(jìn)行的幕垦。
二丢氢、數(shù)據(jù)類型(按數(shù)據(jù)來源)和獲取方式
1、權(quán)威機(jī)構(gòu)公開發(fā)布的數(shù)據(jù)先改。一般可從該機(jī)構(gòu)網(wǎng)站或特定渠道獲染尾臁;
2仇奶、互聯(lián)網(wǎng)開飯數(shù)據(jù)貌嫡。可以通過手動下載或爬蟲爬取衅枫;
3嫁艇、企業(yè)級數(shù)據(jù)。與企業(yè)合作獲认伊谩步咪;
4、調(diào)研數(shù)據(jù)益楼。發(fā)起活動猾漫,向特定群體收集。
三感凤、主要分析工具
Python悯周;R、SAS陪竿、stata禽翼、matlab;arcGIS族跛;Excel等闰挡。
四、分析方法
1礁哄、簡單數(shù)理統(tǒng)計:數(shù)據(jù)標(biāo)準(zhǔn)化處理长酗、平均值、分位數(shù)桐绒、方差夺脾、指標(biāo)在時間和空間上的變化趨勢比較等。
2茉继、現(xiàn)有分析模型的應(yīng)用:t-test咧叭、ANOVA、Correlation烁竭、Regression佳簸、Spatial Regression、PCA颖变、Cluster、Decision Tree听想、SVM腥刹、Neural Network等。
3汉买、自己設(shè)計指標(biāo)衔峰。目的是幫助讀者迅速理解文章想要表達(dá)的類容。
4、現(xiàn)有數(shù)學(xué)模型的改進(jìn)或新模型的建立垫卤。
5威彰、數(shù)據(jù)可視化。
3
精進(jìn)之路(精華在附錄)
一穴肘、最最重要的始終是熱情和創(chuàng)意歇盼。
好的點子不常有,而能夠表征這個點子的數(shù)據(jù)评抚、分析這些數(shù)據(jù)的工具則比比皆是豹缀。
如果,我們有著用數(shù)據(jù)探究某個問題的愿望慨代、有著基本的數(shù)據(jù)處理技能邢笙,那么就可以行動起來。
在數(shù)據(jù)分析過程中侍匙,思考問題氮惯、收集數(shù)據(jù)、整理分析想暗、提出新問題妇汗、學(xué)習(xí)型技能等多個階段總是交替出現(xiàn)的。
1江滨、最最需要的铛纬,是一顆想要通過數(shù)據(jù)認(rèn)識世界的心;
2唬滑、此次告唆,是一個創(chuàng)造性的腦洞;
3晶密、然后擒悬,是嚴(yán)謹(jǐn)?shù)倪壿嫞?/p>
4、最后稻艰,才是數(shù)據(jù)和技術(shù)懂牧。
二、金句(結(jié)論)觸發(fā)
1尊勿、什么都不懂就神經(jīng)網(wǎng)絡(luò)僧凤,什么都不會就遺傳算法。
2元扔、逛商場買買買所花掉的躯保,始終只是小錢而已。真正能刷卡消費的澎语,仍然是男人鲫售,更勝者是商場里看不到的老男人。
3卧惜、讓更多的人聚集在一起,是人類發(fā)明城市的最重要的意義义图。
4、這是一個看臉的世界召烂,丑碱工,就得多學(xué)習(xí)。
5骑晶、我們這個時代早已不可逆轉(zhuǎn)地走向二次元(我的理解:動漫和游戲痛垛,也就是虛擬)化了。
6桶蛔、學(xué)區(qū)房匙头,是一個徹頭徹尾的市場問題。
4
經(jīng)典案例?
一仔雷、區(qū)域性適齡勞動人口數(shù)據(jù)決定城市興衰蹂析,大城市的抽血功能。
對于『年輕人總在猶豫碟婆,回歸家鄉(xiāng)愜意小城鎮(zhèn)电抚,還是奔赴(北上廣深類)大都市』的結(jié)論:假如你最終選擇留在一個生活安逸風(fēng)景如畫的小城鎮(zhèn)上,你也許會幸福地過完一生竖共;但在你的子女到了你這個年紀(jì)的時候蝙叛,很可能他們有且只有一個選擇,那就是奔赴大城市公给。
二借帘、餐館更容易活下來的選址條件(條件設(shè)置):
1、很多人都滋暑怼(常住人口多)在這里肺然;
2、很多人都在這里工作(就業(yè)人口多)腿准;
3际起、交通很方便;
4吐葱、盡量保證這個地區(qū)至少有一部分人愛吃的(多樣性高)街望;
5、周邊現(xiàn)有的類似餐館還不太多(競爭性弱)弟跑。
三它匕、快捷酒店的選址(瞬間最優(yōu)解罷了):
1、酒店周邊有常住人口——探親訪友的目標(biāo)源窖认;
2豫柬、酒店周邊有企業(yè)客戶——商務(wù)出行和部分員工親友訪客的目標(biāo)源;
3扑浸、酒店附近的城市交通——方便的交通條件會擴(kuò)大前兩個要數(shù)的輻射能力(貴陽PL選址幾何烧给?)。
四喝噪、我們注定(大概率)過平庸的一生础嫡,如要逆襲建議(強(qiáng)者越強(qiáng),弱者越弱):
1酝惧、需要找到那些穩(wěn)居在金字塔頂尖的少數(shù)派榴鼎,并和他們一起競爭;
2晚唇、需要找到處在風(fēng)口浪尖的舞臺巫财,并承受昂貴的成本;
3哩陕、需要非常努力平项,還要更早努力且一直努力,否則可能一個閃失就再也沒有任何機(jī)會了悍及。
五闽瓢、房價關(guān)系圖
1、好工作機(jī)會越多的地方心赶,房價越貴扣讼;
2、高級餐廳越多的地方缨叫,房價越貴椭符;
3、所有的『學(xué)區(qū)房』單價都高于全區(qū)房單價弯汰;
4艰山、租售比越遠(yuǎn)離市中心越離散,越靠近市中心則越收斂咏闪;中心城區(qū)的房屋價格中包含的功能性價值更強(qiáng)曙搬,郊區(qū)的房產(chǎn)更依賴投資性(或者叫預(yù)期性)價值。
5鸽嫂、國際經(jīng)驗:少于200個月(17年)能收回投資纵装,說明該地區(qū)有較高的投資價值;而高于300個月(25年)据某,則表示該地區(qū)有潛在的房地產(chǎn)泡沫風(fēng)險橡娄。(2015年4月,北京的全市售租比中位數(shù)是555個月癣籽,即46年挽唉;上海522個月滤祖,43.5年;我看到網(wǎng)上2018年4 月最新數(shù)據(jù)是上海瓶籽、深圳匠童、廣州、北京四座城市塑顺,分別需要54汤求、52、50严拒、49.5年扬绪,那么按某些人的推論,租金是否要再漲2-3倍呢裤唠?)