《數(shù)據(jù)不說謊》,『一本正經(jīng)的胡說八道』

文/恰恰天藍(lán)


1

我本人十分喜歡擺弄數(shù)據(jù)馏段,但從來沒有如『城市數(shù)據(jù)團(tuán)』這么深入過轩拨,原來數(shù)據(jù)是如此好玩有趣,且有意義院喜。

一路讀來亡蓉,還算輕松有趣,寫作的口吻有很大的戲謔成分喷舀,且排版編輯砍濒,數(shù)據(jù)復(fù)核處有些許錯誤(如P116),似乎極不嚴(yán)謹(jǐn)元咙,給予本書不好的印象梯影,但讀到末尾,作者對此情節(jié)有所交代庶香,原來是被逼的甲棍!

因此我對書中的結(jié)論大多數(shù)呈懷疑態(tài)度,這其中夾雜著多種因素,姑且不去考慮我的個人認(rèn)知問題感猛,因其書中數(shù)據(jù)來源七扰,指標(biāo)設(shè)計,推理過程等的復(fù)雜性陪白,有些結(jié)論我還是選擇不能完全認(rèn)同颈走。

畢竟,城市數(shù)據(jù)團(tuán)是一幫上班族和在校生的數(shù)據(jù)愛好者聚在一起利用業(yè)余時間來做的咱士,加之?dāng)?shù)據(jù)的來源他們無從把握立由,所以其完整性、可靠性必然大打折扣序厉。

難能可貴的是锐膜,一般年輕人無功利的做這件事,我的鼓勵多過苛責(zé)弛房,這是一撥有責(zé)任感無私的人道盏。用進(jìn)化的眼光看,他們會學(xué)習(xí)成長文捶,會迭代更新荷逞,定會越來越好。同時粹排,我也能看到業(yè)余社團(tuán)(非技術(shù)不專業(yè))的參與社會管理的力量种远,這迫使ZF與民間更多、更好地互動和良性溝通顽耳,其實ZF也不要怕民眾(稱蠻流)院促,民眾也不要怕ZF(陰謀陷害),隨著社會的發(fā)展斧抱,公共事務(wù)的透明化是一個趨勢,一件事情好與不好渐溶,信與不信辉浦,不會再是『至于你們信不信,我反正信了』茎辐。

此路不通宪郊,會開辟新路。分享傳遞拖陆,引發(fā)關(guān)注弛槐、討論,參與精進(jìn)依啰。

城市數(shù)據(jù)團(tuán)好樣的乎串!


2

數(shù)據(jù)分析和文章創(chuàng)作的方法

一、數(shù)據(jù)分析和寫作流程

首先速警,選擇大致的研究方向叹誉。綜合考慮研究需求鸯两、時效性趣味性可行性长豁。

第二钧唐,列出可能用到的數(shù)據(jù)和研究方法,并通過各種渠道獲取數(shù)據(jù)匠襟。接著钝侠,對數(shù)據(jù)進(jìn)行預(yù)處理。包括數(shù)據(jù)清新酸舍、數(shù)據(jù)集成帅韧、數(shù)據(jù)變換數(shù)據(jù)規(guī)約等父腕。

第三弱匪,對總體情況進(jìn)行簡單統(tǒng)計,發(fā)掘和調(diào)整選題璧亮。目的是了解每一個數(shù)據(jù)字段的基本屬性萧诫、頻率分布、隨著時間或地域的變化趨勢枝嘶,以及尋找多個字段間可能存在的交互影響帘饶,從而得到一些較為具體的、值得進(jìn)一步研究的選題群扶。逐一分析每個題目及刻,進(jìn)行取舍。

第四竞阐,梳理邏輯缴饭,精煉結(jié)論,撰寫文章骆莹。注意颗搂,文章撰寫和數(shù)據(jù)分析就相輔相成、同時進(jìn)行的幕垦。

二丢氢、數(shù)據(jù)類型(按數(shù)據(jù)來源)和獲取方式

1、權(quán)威機(jī)構(gòu)公開發(fā)布的數(shù)據(jù)先改。一般可從該機(jī)構(gòu)網(wǎng)站或特定渠道獲染尾臁;

2仇奶、互聯(lián)網(wǎng)開飯數(shù)據(jù)貌嫡。可以通過手動下載或爬蟲爬取衅枫;

3嫁艇、企業(yè)級數(shù)據(jù)。與企業(yè)合作獲认伊谩步咪;

4、調(diào)研數(shù)據(jù)益楼。發(fā)起活動猾漫,向特定群體收集。

三感凤、主要分析工具

Python悯周;R、SAS陪竿、stata禽翼、matlab;arcGIS族跛;Excel等闰挡。

四、分析方法

1礁哄、簡單數(shù)理統(tǒng)計:數(shù)據(jù)標(biāo)準(zhǔn)化處理长酗、平均值、分位數(shù)桐绒、方差夺脾、指標(biāo)在時間和空間上的變化趨勢比較等。

2茉继、現(xiàn)有分析模型的應(yīng)用:t-test咧叭、ANOVA、Correlation烁竭、Regression佳簸、Spatial Regression、PCA颖变、Cluster、Decision Tree听想、SVM腥刹、Neural Network等。

3汉买、自己設(shè)計指標(biāo)衔峰。目的是幫助讀者迅速理解文章想要表達(dá)的類容。

4、現(xiàn)有數(shù)學(xué)模型的改進(jìn)或新模型的建立垫卤。

5威彰、數(shù)據(jù)可視化。


3

精進(jìn)之路(精華在附錄)

一穴肘、最最重要的始終是熱情和創(chuàng)意歇盼。

好的點子不常有,而能夠表征這個點子的數(shù)據(jù)评抚、分析這些數(shù)據(jù)的工具則比比皆是豹缀。

如果,我們有著用數(shù)據(jù)探究某個問題的愿望慨代、有著基本的數(shù)據(jù)處理技能邢笙,那么就可以行動起來。

在數(shù)據(jù)分析過程中侍匙,思考問題氮惯、收集數(shù)據(jù)、整理分析想暗、提出新問題妇汗、學(xué)習(xí)型技能等多個階段總是交替出現(xiàn)的。

1江滨、最最需要的铛纬,是一顆想要通過數(shù)據(jù)認(rèn)識世界的心;

2唬滑、此次告唆,是一個創(chuàng)造性的腦洞;

3晶密、然后擒悬,是嚴(yán)謹(jǐn)?shù)倪壿嫞?/p>

4、最后稻艰,才是數(shù)據(jù)和技術(shù)懂牧。

二、金句(結(jié)論)觸發(fā)

1尊勿、什么都不懂就神經(jīng)網(wǎng)絡(luò)僧凤,什么都不會就遺傳算法。

2元扔、逛商場買買買所花掉的躯保,始終只是小錢而已。真正能刷卡消費的澎语,仍然是男人鲫售,更勝者是商場里看不到的老男人。

3卧惜、讓更多的人聚集在一起,是人類發(fā)明城市的最重要的意義义图。

4、這是一個看臉的世界召烂,丑碱工,就得多學(xué)習(xí)。

5骑晶、我們這個時代早已不可逆轉(zhuǎn)地走向二次元(我的理解:動漫和游戲痛垛,也就是虛擬)化了。

6桶蛔、學(xué)區(qū)房匙头,是一個徹頭徹尾的市場問題。


4

經(jīng)典案例?

一仔雷、區(qū)域性適齡勞動人口數(shù)據(jù)決定城市興衰蹂析,大城市的抽血功能。

對于『年輕人總在猶豫碟婆,回歸家鄉(xiāng)愜意小城鎮(zhèn)电抚,還是奔赴(北上廣深類)大都市』的結(jié)論:假如你最終選擇留在一個生活安逸風(fēng)景如畫的小城鎮(zhèn)上,你也許會幸福地過完一生竖共;但在你的子女到了你這個年紀(jì)的時候蝙叛,很可能他們有且只有一個選擇,那就是奔赴大城市公给。

二借帘、餐館更容易活下來的選址條件(條件設(shè)置):

1、很多人都滋暑怼(常住人口多)在這里肺然;

2、很多人都在這里工作(就業(yè)人口多)腿准;

3际起、交通很方便;

4吐葱、盡量保證這個地區(qū)至少有一部分人愛吃的(多樣性高)街望;

5、周邊現(xiàn)有的類似餐館還不太多(競爭性弱)弟跑。

三它匕、快捷酒店的選址(瞬間最優(yōu)解罷了):

1、酒店周邊有常住人口——探親訪友的目標(biāo)源窖认;

2豫柬、酒店周邊有企業(yè)客戶——商務(wù)出行和部分員工親友訪客的目標(biāo)源;

3扑浸、酒店附近的城市交通——方便的交通條件會擴(kuò)大前兩個要數(shù)的輻射能力(貴陽PL選址幾何烧给?)

四喝噪、我們注定(大概率)過平庸的一生础嫡,如要逆襲建議(強(qiáng)者越強(qiáng),弱者越弱):

1酝惧、需要找到那些穩(wěn)居在金字塔頂尖的少數(shù)派榴鼎,并和他們一起競爭;

2晚唇、需要找到處在風(fēng)口浪尖的舞臺巫财,并承受昂貴的成本;

3哩陕、需要非常努力平项,還要更早努力且一直努力,否則可能一個閃失就再也沒有任何機(jī)會了悍及。

五闽瓢、房價關(guān)系圖

1、好工作機(jī)會越多的地方心赶,房價越貴扣讼;

2、高級餐廳越多的地方缨叫,房價越貴椭符;

3、所有的『學(xué)區(qū)房』單價都高于全區(qū)房單價弯汰;

4艰山、租售比越遠(yuǎn)離市中心越離散,越靠近市中心則越收斂咏闪;中心城區(qū)的房屋價格中包含的功能性價值更強(qiáng)曙搬,郊區(qū)的房產(chǎn)更依賴投資性(或者叫預(yù)期性)價值。

5鸽嫂、國際經(jīng)驗:少于200個月(17年)能收回投資纵装,說明該地區(qū)有較高的投資價值;而高于300個月(25年)据某,則表示該地區(qū)有潛在的房地產(chǎn)泡沫風(fēng)險橡娄。(2015年4月,北京的全市售租比中位數(shù)是555個月癣籽,即46年挽唉;上海522個月滤祖,43.5年;我看到網(wǎng)上2018年4 月最新數(shù)據(jù)是上海瓶籽、深圳匠童、廣州、北京四座城市塑顺,分別需要54汤求、52、50严拒、49.5年扬绪,那么按某些人的推論,租金是否要再漲2-3倍呢裤唠?)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末挤牛,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子巧骚,更是在濱河造成了極大的恐慌赊颠,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件劈彪,死亡現(xiàn)場離奇詭異竣蹦,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)沧奴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進(jìn)店門痘括,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人滔吠,你說我怎么就攤上這事纲菌。” “怎么了疮绷?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵翰舌,是天一觀的道長。 經(jīng)常有香客問我冬骚,道長椅贱,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任只冻,我火速辦了婚禮庇麦,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘喜德。我一直安慰自己山橄,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布舍悯。 她就那樣靜靜地躺著航棱,像睡著了一般睡雇。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上饮醇,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天入桂,我揣著相機(jī)與錄音,去河邊找鬼驳阎。 笑死,一個胖子當(dāng)著我的面吹牛馁蒂,可吹牛的內(nèi)容都是我干的呵晚。 我是一名探鬼主播,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼沫屡,長吁一口氣:“原來是場噩夢啊……” “哼饵隙!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起沮脖,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤金矛,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后勺届,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體驶俊,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年免姿,在試婚紗的時候發(fā)現(xiàn)自己被綠了饼酿。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,064評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡胚膊,死狀恐怖故俐,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情紊婉,我是刑警寧澤药版,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布,位于F島的核電站喻犁,受9級特大地震影響槽片,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜株汉,卻給世界環(huán)境...
    茶點故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一筐乳、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧乔妈,春花似錦蝙云、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽波材。三九已至,卻和暖如春身隐,著一層夾襖步出監(jiān)牢的瞬間廷区,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工贾铝, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留隙轻,地道東北人。 一個月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓垢揩,卻偏偏與公主長得像玖绿,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子叁巨,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,802評論 2 345

推薦閱讀更多精彩內(nèi)容