在大數(shù)據(jù)時代我們應(yīng)該如何思考問題国撵?

《飄》陵吸、《湯姆叔叔的小屋》之類的小說和故事在全社會激起的是強(qiáng)烈的“情感”共鳴,和故事相比介牙,數(shù)據(jù)沒有情節(jié)壮虫,它僅代表客觀事實(shí),數(shù)據(jù)激發(fā)的环础,更多的是理性思考囚似。作為理性的人類,我們不會僅僅滿足于感情的宣泄线得,而是希望通過數(shù)據(jù)掌握更多的事實(shí)饶唤,進(jìn)行理性思考。


大數(shù)據(jù)如何去思考問題贯钩?

在當(dāng)今時代募狂,最不缺乏的就是信息办素。信息消費(fèi)了什么,這是很明顯的:它消費(fèi)的是信息接受者的注意力祸穷。信息越豐富性穿,就會導(dǎo)致注意力越匱乏……當(dāng)今,信息并不匱乏雷滚,匱乏的是我們處理信息的能力需曾,我們有限的注意力是組織活動的主要瓶頸∑碓叮卡內(nèi)基梅隆大學(xué)的赫伯特·西蒙指出呆万,人類的理性是有限的,因此所有的決策都是基于有限理性的結(jié)果车份。他繼而提出谋减,如果能利用存儲在計(jì)算機(jī)里的信息——即數(shù)據(jù)來輔助決策,人類理性的范圍將會擴(kuò)大躬充,決策的質(zhì)量就能提高逃顶。

在大數(shù)據(jù)時代,人類社會面臨的問題之一是如何更好的利用數(shù)據(jù)來輔助決策充甚?

對小數(shù)據(jù)而言以政,最基本最重要的要求就是減少錯誤,保證質(zhì)量伴找。因?yàn)槭占男畔⒘勘容^少盈蛮,所以我們必須確保記下來的數(shù)據(jù)盡量精確。無論是確定天體的位置還是觀測顯微鏡下物體的大小技矮,為了使結(jié)果更加準(zhǔn)確抖誉,很多科學(xué)家都致力于優(yōu)化測量的工具。在采樣的時候衰倦,對精確度的要求就更苛刻了袒炉。因?yàn)槭占畔⒌挠邢抟馕吨?xì)微的錯誤會被放大,甚至有可能影響整個結(jié)果的準(zhǔn)確性樊零。

然而我磁,在不斷涌現(xiàn)的新情況里,允許不精確性的出現(xiàn)已經(jīng)成為一個新的亮點(diǎn)驻襟,而非缺點(diǎn)夺艰。因?yàn)榉潘闪巳蒎e的標(biāo)準(zhǔn),人們掌握的數(shù)據(jù)也多了起來沉衣,還可以利用這些數(shù)據(jù)做更多新的事情郁副。這樣就不是大量數(shù)據(jù)優(yōu)于少量數(shù)據(jù)那么簡單了,而是大量數(shù)據(jù)創(chuàng)造了更好的結(jié)果豌习。谷歌的翻譯更好并不是因?yàn)樗鼡碛幸粋€更好的算法機(jī)制存谎,是因?yàn)楣雀璺g增加了各種各樣的數(shù)據(jù)拔疚。2006年,谷歌發(fā)布的上萬億的語料庫既荚,就是來自于互聯(lián)網(wǎng)的一些廢棄內(nèi)容草雕。谷歌將其作為“訓(xùn)練集”,可以正確地推算出英語詞匯搭配在一起的可能性固以。谷歌的這個語料庫是一個質(zhì)的突破,使用龐大的數(shù)據(jù)庫使得自然語言處理這一方向取得了飛躍式的發(fā)展嘱巾。

同時憨琳,我們需要與各種各樣的混亂做斗爭⊙眩混亂篙螟,簡單的說就是隨著數(shù)據(jù)量的增加,錯誤率也會相應(yīng)增加问拘。所以遍略,如果采集的數(shù)據(jù)量增加1000倍的話,其中采集的部分?jǐn)?shù)據(jù)就可能是錯誤的骤坐,而且隨著數(shù)據(jù)量的增加绪杏,錯誤率可能也會繼續(xù)增加。在整合來源不同的各類信息的時候纽绍,因?yàn)樗麄兺ǔ2煌耆恢吕倬茫砸矔哟蠡靵y程度。雖然如果我們能夠下足夠多的功夫拌夏,這些錯誤是可以避免的僧著,但在很多情況下,與致力于避免錯誤相比障簿,對錯誤的包容會帶給我們更多好處。

如果將傳統(tǒng)的思維模式——精確性運(yùn)用于數(shù)據(jù)化、網(wǎng)絡(luò)化的21世紀(jì)号俐,就會錯過重要的信息娃殖,執(zhí)迷于精確性是信息缺乏時代的產(chǎn)物。當(dāng)我們掌握了大量新型數(shù)據(jù)時世蔗,精確性就不那么重要了端逼,不因?yàn)橐蕾嚲_性,我們同樣可以掌握事情的發(fā)展趨勢污淋。大數(shù)據(jù)不僅讓我們不再期待精確性顶滩,也讓我們無法實(shí)現(xiàn)精確性。然而寸爆,除了一開始會與我們的直覺相矛盾之外礁鲁,接受數(shù)據(jù)的不精確和不完美盐欺,我們反而能更好地進(jìn)行預(yù)測,也能更好的理解這個世界仅醇。

相比依賴于小數(shù)據(jù)和精確性的時代冗美,大數(shù)據(jù)因?yàn)楦鼜?qiáng)調(diào)數(shù)據(jù)的完整性和混雜性,幫助我們進(jìn)一步接近事實(shí)的真相析二。“部分”和“確切”的吸引力是可以理解的粉洼。但是,當(dāng)我們的視野局限在我們可以分析和能夠確定的數(shù)據(jù)上時叶摄,我們對世界的整體理解就可能產(chǎn)生錯誤和偏差属韧。不僅失去了去盡力收集一切數(shù)據(jù)的動力,也失去了從各個不同角度來觀察事物的權(quán)利蛤吓。所以宵喂,局限于狹隘的小數(shù)據(jù)中,我們可以自豪于對精確性的追求会傲,但是锅棕,就算我們可以分析的到細(xì)節(jié)中的細(xì)節(jié),也依然會錯過事物的全貌淌山。就像印象派的畫風(fēng)一樣裸燎,近看畫中的每一筆都感覺是混亂的,但是退后一步你就會發(fā)現(xiàn)這是一副偉大的作品泼疑,因?yàn)槟阃撕笠徊降臅r候就能看出畫作的整體思路了顺少。

這是大數(shù)據(jù)時代,思維方式的一個改變王浴,不執(zhí)著于對精確性的追求脆炎,擁抱混亂。另外一個思維方式的轉(zhuǎn)變則是氓辣,更加重視相關(guān)關(guān)系秒裕,而不偏執(zhí)于基于假設(shè)基礎(chǔ)上對因果關(guān)系的追尋。

一旦我們出現(xiàn)小數(shù)據(jù)的時候又應(yīng)該如何去分析呢钞啸?

在小數(shù)據(jù)的世界中几蜻,相關(guān)關(guān)系也是有用的,但在大數(shù)據(jù)的背景下体斩,相關(guān)關(guān)系大放異彩梭稚。通過應(yīng)用相關(guān)關(guān)系,我們可以比以前更容易絮吵、更便捷弧烤、更清楚地分析事物。

相關(guān)關(guān)系的核心是量化兩個數(shù)據(jù)值之間的數(shù)理關(guān)系蹬敲。相關(guān)關(guān)系強(qiáng)是指一個數(shù)據(jù)增加時暇昂,另一個數(shù)據(jù)值很有可能也會隨之增加莺戒。比如谷歌的流感趨勢:在一個特定的地理位置,越多的人通過谷歌搜索特定的詞條急波,該地區(qū)就有更多的人患了流感从铲。相反,相關(guān)關(guān)系弱就意味著當(dāng)一個數(shù)據(jù)值增加澄暮,另一個數(shù)據(jù)值幾乎不會發(fā)生變化名段。例如,我們可以尋找關(guān)于個人的鞋碼和幸福的相關(guān)關(guān)系泣懊,但會發(fā)現(xiàn)它們幾乎扯不上什么關(guān)系吉嫩。

相關(guān)關(guān)系通過識別有用的關(guān)聯(lián)物來幫助我們分析一個現(xiàn)象,而不是通過揭示其內(nèi)部的運(yùn)作機(jī)制嗅定。當(dāng)然,即使是很強(qiáng)的相關(guān)關(guān)系也不一定能解釋每一種情況用踩,比如兩個事物看上去行為相似渠退,但很有可能只是巧合。相關(guān)關(guān)系沒有絕對脐彩,只有可能性碎乃。也就是說,不是亞馬遜推薦的每本書都是顧客想買的書惠奸。但是梅誓,如果相關(guān)關(guān)系強(qiáng),一個相關(guān)鏈接成功的概率是很高的佛南。

我們理解世界不再需要建立在假設(shè)的基礎(chǔ)上梗掰,這個假設(shè)是針對現(xiàn)象建立的有關(guān)其生產(chǎn)機(jī)制和內(nèi)在機(jī)理的假設(shè)。因此嗅回,我們也不需要建立這樣一個假設(shè)及穗,關(guān)于哪些詞條可以表示流感在何時何地傳播;我們不需要了解航空公司怎樣給機(jī)票定價;我們不需要知道沃爾瑪?shù)念櫩偷呐腼兿埠谩H《氖敲嘣兀覀兛梢詫Υ驍?shù)據(jù)進(jìn)行相關(guān)關(guān)系分析埂陆,從而知道哪些檢索詞條是最能顯示流感的傳播的,飛機(jī)票的價格是否會飛漲娃豹,哪些食物是颶風(fēng)期間待在家里的人最想吃的焚虱。我們用數(shù)據(jù)驅(qū)動的關(guān)于大數(shù)據(jù)的相關(guān)關(guān)系分析法,取代了基于假想的易出錯的方法懂版。大數(shù)據(jù)的相關(guān)關(guān)系分析法更準(zhǔn)確鹃栽、更快,而且不易受偏見的影響躯畴。建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測是大數(shù)據(jù)的核心谍咆。這種預(yù)測發(fā)生的頻率非常高禾锤,以至于我們經(jīng)常忽略了它的創(chuàng)新性。當(dāng)然摹察,它的應(yīng)用會越來越多恩掷。

在社會環(huán)境下尋找關(guān)聯(lián)物只是大數(shù)據(jù)分析法采取的一種方式。同樣有用的一種方式是供嚎,通過找出新種類數(shù)據(jù)之間的相互聯(lián)系來解決日常需要黄娘。比方說,一種稱為預(yù)測分析法的方法就被廣泛的應(yīng)用于商業(yè)領(lǐng)域克滴,它可以預(yù)測實(shí)踐的發(fā)生逼争。比如車的某個零部件出故障。因?yàn)橐粋€東西要出故障劝赔,不會是瞬間的誓焦,而是慢慢地出問題的。通過收集所有的數(shù)據(jù)着帽,我們可以預(yù)先捕捉到事物要出故障的信號杂伟,比方說發(fā)動機(jī)的嗡嗡聲、引擎過熱都說明它們可能要出故障了仍翰。系統(tǒng)把這些異常情況與正常情況進(jìn)行對比赫粥,就會知道什么地方出了毛病。通過盡早的發(fā)現(xiàn)異常予借,系統(tǒng)可以提醒我們在故障之前更換零件或者修復(fù)問題越平。通過找出一個關(guān)聯(lián)物并監(jiān)控它,我們就能預(yù)測未來灵迫。

在小數(shù)據(jù)時代秦叛,相關(guān)關(guān)系分析和因果分析都不容易,都耗資巨大瀑粥,都要從建立假設(shè)開始书闸。然后我們會進(jìn)行實(shí)驗(yàn)——這個假設(shè)要么被證實(shí)要么被推翻。但由于兩者都始于假設(shè)利凑,這些分析都有受偏見影響的可能浆劲,而且極易導(dǎo)致錯誤。與此同時哀澈,用來做相關(guān)關(guān)系分析的數(shù)據(jù)很難得到牌借,收集這些數(shù)據(jù)時也耗資巨大。現(xiàn)今割按,可用的數(shù)據(jù)如此之多膨报,也就不存在這些難題了。

通過找出可能相關(guān)的事物,我們可以在此基礎(chǔ)上進(jìn)行進(jìn)一步的因果關(guān)系分析现柠,如果存在因果關(guān)系的話院领,我們再進(jìn)一步找出原因。這種便捷的機(jī)制通過嚴(yán)格的實(shí)驗(yàn)降低了因果分析的成本够吩。我們也可以從相互聯(lián)系中找到一些重要的變量比然,這些變量可以用到驗(yàn)證因果關(guān)系的實(shí)驗(yàn)中去。相關(guān)關(guān)系很有用周循,不僅僅是因?yàn)樗転槲覀兲峁┬碌囊暯乔糠ǎ姨峁┑囊暯嵌己芮逦?/p>

在小數(shù)據(jù)時代,我們會假想世界是怎么運(yùn)作的湾笛,然后通過收集和分析數(shù)據(jù)來驗(yàn)證這種假想饮怯。在不久的將來,我們會在大數(shù)據(jù)的指導(dǎo)下探索世界嚎研,不再受限于各種假想蓖墅。我們的研究始于數(shù)據(jù),也因?yàn)閿?shù)據(jù)我們發(fā)現(xiàn)了以前不曾發(fā)現(xiàn)的聯(lián)系临扮。

總之论矾,除了糾結(jié)于數(shù)據(jù)的準(zhǔn)確性、正確性和嚴(yán)格度之外公条,我們也應(yīng)該容許一些不精確的存在。數(shù)據(jù)不可能是完全正確或完全錯誤的迂曲,當(dāng)數(shù)據(jù)的規(guī)模以數(shù)量級增加時靶橱,這些混亂也就算不上問題了。事實(shí)上路捧,它可能是有好處的关霸,因?yàn)樗赡芴峁┮恍┪覀儫o法想到的細(xì)節(jié)。又因?yàn)槲覀冇酶旄阋说姆绞秸业綌?shù)據(jù)的相關(guān)性杰扫,并且效果往往更好队寇,而不必努力去尋找因果關(guān)系。當(dāng)然章姓,在某些情況下佳遣,我們依然要靜心做因果關(guān)系研究和試驗(yàn)。但是凡伊,在日常很多情況下零渐,我們知道“是什么”就夠了,而不必非要弄清楚“為什么”系忙。


公子義【微信號gongzi348】:4年心理學(xué)诵盼,80后,90后心理研究專家,9年大數(shù)據(jù)研究者风宁,專注于移動互聯(lián)網(wǎng)洁墙,大數(shù)據(jù)究狂熱愛好者,熱愛寫作戒财。未經(jīng)許可热监,嚴(yán)禁轉(zhuǎn)載。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末固翰,一起剝皮案震驚了整個濱河市狼纬,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌骂际,老刑警劉巖疗琉,帶你破解...
    沈念sama閱讀 211,817評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異歉铝,居然都是意外死亡盈简,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評論 3 385
  • 文/潘曉璐 我一進(jìn)店門太示,熙熙樓的掌柜王于貴愁眉苦臉地迎上來柠贤,“玉大人,你說我怎么就攤上這事类缤【拭悖” “怎么了?”我有些...
    開封第一講書人閱讀 157,354評論 0 348
  • 文/不壞的土叔 我叫張陵餐弱,是天一觀的道長宴霸。 經(jīng)常有香客問我,道長膏蚓,這世上最難降的妖魔是什么瓢谢? 我笑而不...
    開封第一講書人閱讀 56,498評論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮驮瞧,結(jié)果婚禮上氓扛,老公的妹妹穿的比我還像新娘。我一直安慰自己论笔,他們只是感情好采郎,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,600評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著狂魔,像睡著了一般尉剩。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上毅臊,一...
    開封第一講書人閱讀 49,829評論 1 290
  • 那天理茎,我揣著相機(jī)與錄音黑界,去河邊找鬼。 笑死皂林,一個胖子當(dāng)著我的面吹牛朗鸠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播础倍,決...
    沈念sama閱讀 38,979評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼烛占,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了沟启?” 一聲冷哼從身側(cè)響起忆家,我...
    開封第一講書人閱讀 37,722評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎德迹,沒想到半個月后芽卿,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,189評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡胳搞,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,519評論 2 327
  • 正文 我和宋清朗相戀三年卸例,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片肌毅。...
    茶點(diǎn)故事閱讀 38,654評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡筷转,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出悬而,到底是詐尸還是另有隱情呜舒,我是刑警寧澤,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布笨奠,位于F島的核電站袭蝗,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏艰躺。R本人自食惡果不足惜呻袭,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,940評論 3 313
  • 文/蒙蒙 一眨八、第九天 我趴在偏房一處隱蔽的房頂上張望腺兴。 院中可真熱鬧,春花似錦廉侧、人聲如沸页响。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽闰蚕。三九已至,卻和暖如春连舍,著一層夾襖步出監(jiān)牢的瞬間没陡,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留盼玄,地道東北人贴彼。 一個月前我還...
    沈念sama閱讀 46,382評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像埃儿,于是被迫代替她去往敵國和親器仗。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,543評論 2 349

推薦閱讀更多精彩內(nèi)容