《飄》、《湯姆叔叔的小屋》之類的小說和故事在全社會激起的是強烈的“情感”共鳴挨队,和故事相比谷暮,數(shù)據(jù)沒有情節(jié),它僅代表客觀事實盛垦,數(shù)據(jù)激發(fā)的坷备,更多的是理性思考。作為理性的人類情臭,我們不會僅僅滿足于感情的宣泄省撑,而是希望通過數(shù)據(jù)掌握更多的事實,進行理性思考俯在。
在當今時代竟秫,最不缺乏的就是信息。信息消費了什么跷乐,這是很明顯的:它消費的是信息接受者的注意力肥败。信息越豐富,就會導致注意力越匱乏……當今愕提,信息并不匱乏馒稍,匱乏的是我們處理信息的能力,我們有限的注意力是組織活動的主要瓶頸浅侨∨耍卡內(nèi)基梅隆大學的赫伯特·西蒙指出,人類的理性是有限的如输,因此所有的決策都是基于有限理性的結(jié)果鼓黔。他繼而提出,如果能利用存儲在計算機里的信息——即數(shù)據(jù)來輔助決策不见,人類理性的范圍將會擴大澳化,決策的質(zhì)量就能提高。
在大數(shù)據(jù)時代稳吮,人類社會面臨的問題之一是如何更好的利用數(shù)據(jù)來輔助決策缎谷。
對小數(shù)據(jù)而言,最基本最重要的要求就是減少錯誤灶似,保證質(zhì)量列林。因為收集的信息量比較少瑞你,所以我們必須確保記下來的數(shù)據(jù)盡量精確。無論是確定天體的位置還是觀測顯微鏡下物體的大小席纽,為了使結(jié)果更加準確捏悬,很多科學家都致力于優(yōu)化測量的工具。在采樣的時候润梯,對精確度的要求就更苛刻了过牙。因為收集信息的有限意味著細微的錯誤會被放大,甚至有可能影響整個結(jié)果的準確性纺铭。
然而寇钉,在不斷涌現(xiàn)的新情況里,允許不精確性的出現(xiàn)已經(jīng)成為一個新的亮點舶赔,而非缺點扫倡。因為放松了容錯的標準,人們掌握的數(shù)據(jù)也多了起來竟纳,還可以利用這些數(shù)據(jù)做更多新的事情撵溃。這樣就不是大量數(shù)據(jù)優(yōu)于少量數(shù)據(jù)那么簡單了,而是大量數(shù)據(jù)創(chuàng)造了更好的結(jié)果锥累。谷歌的翻譯更好并不是因為它擁有一個更好的算法機制缘挑,是因為谷歌翻譯增加了各種各樣的數(shù)據(jù)。2006年桶略,谷歌發(fā)布的上萬億的語料庫语淘,就是來自于互聯(lián)網(wǎng)的一些廢棄內(nèi)容。谷歌將其作為“訓練集”际歼,可以正確地推算出英語詞匯搭配在一起的可能性惶翻。谷歌的這個語料庫是一個質(zhì)的突破,使用龐大的數(shù)據(jù)庫使得自然語言處理這一方向取得了飛躍式的發(fā)展鹅心。
同時吕粗,我們需要與各種各樣的混亂做斗爭“桶铮混亂溯泣,簡單的說就是隨著數(shù)據(jù)量的增加,錯誤率也會相應(yīng)增加榕茧。所以,如果采集的數(shù)據(jù)量增加1000倍的話客给,其中采集的部分數(shù)據(jù)就可能是錯誤的用押,而且隨著數(shù)據(jù)量的增加,錯誤率可能也會繼續(xù)增加靶剑。在整合來源不同的各類信息的時候蜻拨,因為他們通常不完全一致池充,所以也會加大混亂程度。雖然如果我們能夠下足夠多的功夫缎讼,這些錯誤是可以避免的收夸,但在很多情況下,與致力于避免錯誤相比血崭,對錯誤的包容會帶給我們更多好處卧惜。
如果將傳統(tǒng)的思維模式——精確性運用于數(shù)據(jù)化、網(wǎng)絡(luò)化的21世紀夹纫,就會錯過重要的信息咽瓷,執(zhí)迷于精確性是信息缺乏時代的產(chǎn)物。當我們掌握了大量新型數(shù)據(jù)時舰讹,精確性就不那么重要了茅姜,不因為依賴精確性,我們同樣可以掌握事情的發(fā)展趨勢月匣。大數(shù)據(jù)不僅讓我們不再期待精確性钻洒,也讓我們無法實現(xiàn)精確性。然而锄开,除了一開始會與我們的直覺相矛盾之外素标,接受數(shù)據(jù)的不精確和不完美,我們反而能更好地進行預測院刁,也能更好的理解這個世界糯钙。
相比依賴于小數(shù)據(jù)和精確性的時代,大數(shù)據(jù)因為更強調(diào)數(shù)據(jù)的完整性和混雜性退腥,幫助我們進一步接近事實的真相任岸。“部分”和“確切”的吸引力是可以理解的狡刘。但是享潜,當我們的視野局限在我們可以分析和能夠確定的數(shù)據(jù)上時,我們對世界的整體理解就可能產(chǎn)生錯誤和偏差嗅蔬。不僅失去了去盡力收集一切數(shù)據(jù)的動力剑按,也失去了從各個不同角度來觀察事物的權(quán)利。所以澜术,局限于狹隘的小數(shù)據(jù)中艺蝴,我們可以自豪于對精確性的追求,但是鸟废,就算我們可以分析的到細節(jié)中的細節(jié)猜敢,也依然會錯過事物的全貌。就像印象派的畫風一樣,近看畫中的每一筆都感覺是混亂的缩擂,但是退后一步你就會發(fā)現(xiàn)這是一副偉大的作品鼠冕,因為你退后一步的時候就能看出畫作的整體思路了。
這是大數(shù)據(jù)時代胯盯,思維方式的一個改變懈费,不執(zhí)著于對精確性的追求,擁抱混亂博脑。另外一個思維方式的轉(zhuǎn)變則是憎乙,更加重視相關(guān)關(guān)系,而不偏執(zhí)于基于假設(shè)基礎(chǔ)上對因果關(guān)系的追尋趋厉。
在小數(shù)據(jù)的世界中寨闹,相關(guān)關(guān)系也是有用的,但在大數(shù)據(jù)的背景下君账,相關(guān)關(guān)系大放異彩繁堡。通過應(yīng)用相關(guān)關(guān)系,我們可以比以前更容易乡数、更便捷椭蹄、更清楚地分析事物。
相關(guān)關(guān)系的核心是量化兩個數(shù)據(jù)值之間的數(shù)理關(guān)系净赴。相關(guān)關(guān)系強是指一個數(shù)據(jù)增加時绳矩,另一個數(shù)據(jù)值很有可能也會隨之增加。比如谷歌的流感趨勢:在一個特定的地理位置玖翅,越多的人通過谷歌搜索特定的詞條翼馆,該地區(qū)就有更多的人患了流感。相反金度,相關(guān)關(guān)系弱就意味著當一個數(shù)據(jù)值增加应媚,另一個數(shù)據(jù)值幾乎不會發(fā)生變化。例如猜极,我們可以尋找關(guān)于個人的鞋碼和幸福的相關(guān)關(guān)系中姜,但會發(fā)現(xiàn)它們幾乎扯不上什么關(guān)系。
相關(guān)關(guān)系通過識別有用的關(guān)聯(lián)物來幫助我們分析一個現(xiàn)象跟伏,而不是通過揭示其內(nèi)部的運作機制丢胚。當然,即使是很強的相關(guān)關(guān)系也不一定能解釋每一種情況受扳,比如兩個事物看上去行為相似携龟,但很有可能只是巧合。相關(guān)關(guān)系沒有絕對勘高,只有可能性骨宠。也就是說浮定,不是亞馬遜推薦的每本書都是顧客想買的書相满。但是层亿,如果相關(guān)關(guān)系強,一個相關(guān)鏈接成功的概率是很高的立美。
我們理解世界不再需要建立在假設(shè)的基礎(chǔ)上匿又,這個假設(shè)是針對現(xiàn)象建立的有關(guān)其生產(chǎn)機制和內(nèi)在機理的假設(shè)。因此建蹄,我們也不需要建立這樣一個假設(shè)碌更,關(guān)于哪些詞條可以表示流感在何時何地傳播;我們不需要了解航空公司怎樣給機票定價洞慎;我們不需要知道沃爾瑪?shù)念櫩偷呐腼兿埠猛吹ァH《氖牵覀兛梢詫Υ驍?shù)據(jù)進行相關(guān)關(guān)系分析劲腿,從而知道哪些檢索詞條是最能顯示流感的傳播的旭绒,飛機票的價格是否會飛漲,哪些食物是颶風期間待在家里的人最想吃的焦人。我們用數(shù)據(jù)驅(qū)動的關(guān)于大數(shù)據(jù)的相關(guān)關(guān)系分析法挥吵,取代了基于假想的易出錯的方法。大數(shù)據(jù)的相關(guān)關(guān)系分析法更準確花椭、更快忽匈,而且不易受偏見的影響。建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預測是大數(shù)據(jù)的核心矿辽。這種預測發(fā)生的頻率非常高丹允,以至于我們經(jīng)常忽略了它的創(chuàng)新性。當然袋倔,它的應(yīng)用會越來越多雕蔽。
在社會環(huán)境下尋找關(guān)聯(lián)物只是大數(shù)據(jù)分析法采取的一種方式。同樣有用的一種方式是奕污,通過找出新種類數(shù)據(jù)之間的相互聯(lián)系來解決日常需要萎羔。比方說,一種稱為預測分析法的方法就被廣泛的應(yīng)用于商業(yè)領(lǐng)域碳默,它可以預測實踐的發(fā)生贾陷。比如車的某個零部件出故障。因為一個東西要出故障嘱根,不會是瞬間的髓废,而是慢慢地出問題的。通過收集所有的數(shù)據(jù)该抒,我們可以預先捕捉到事物要出故障的信號慌洪,比方說發(fā)動機的嗡嗡聲、引擎過熱都說明它們可能要出故障了。系統(tǒng)把這些異常情況與正常情況進行對比冈爹,就會知道什么地方出了毛病涌攻。通過盡早的發(fā)現(xiàn)異常,系統(tǒng)可以提醒我們在故障之前更換零件或者修復問題频伤。通過找出一個關(guān)聯(lián)物并監(jiān)控它恳谎,我們就能預測未來。
在小數(shù)據(jù)時代憋肖,相關(guān)關(guān)系分析和因果分析都不容易因痛,都耗資巨大,都要從建立假設(shè)開始岸更。然后我們會進行實驗——這個假設(shè)要么被證實要么被推翻鸵膏。但由于兩者都始于假設(shè),這些分析都有受偏見影響的可能怎炊,而且極易導致錯誤谭企。與此同時,用來做相關(guān)關(guān)系分析的數(shù)據(jù)很難得到结胀,收集這些數(shù)據(jù)時也耗資巨大≡蘖現(xiàn)今,可用的數(shù)據(jù)如此之多糟港,也就不存在這些難題了攀操。
通過找出可能相關(guān)的事物,我們可以在此基礎(chǔ)上進行進一步的因果關(guān)系分析秸抚,如果存在因果關(guān)系的話速和,我們再進一步找出原因。這種便捷的機制通過嚴格的實驗降低了因果分析的成本剥汤。我們也可以從相互聯(lián)系中找到一些重要的變量颠放,這些變量可以用到驗證因果關(guān)系的實驗中去。相關(guān)關(guān)系很有用吭敢,不僅僅是因為它能為我們提供新的視角碰凶,而且提供的視角都很清晰。
在小數(shù)據(jù)時代鹿驼,我們會假想世界是怎么運作的欲低,然后通過收集和分析數(shù)據(jù)來驗證這種假想。在不久的將來畜晰,我們會在大數(shù)據(jù)的指導下探索世界砾莱,不再受限于各種假想。我們的研究始于數(shù)據(jù)凄鼻,也因為數(shù)據(jù)我們發(fā)現(xiàn)了以前不曾發(fā)現(xiàn)的聯(lián)系腊瑟。
總之聚假,除了糾結(jié)于數(shù)據(jù)的準確性、正確性和嚴格度之外闰非,我們也應(yīng)該容許一些不精確的存在膘格。數(shù)據(jù)不可能是完全正確或完全錯誤的,當數(shù)據(jù)的規(guī)模以數(shù)量級增加時河胎,這些混亂也就算不上問題了闯袒。事實上,它可能是有好處的游岳,因為它可能提供一些我們無法想到的細節(jié)。又因為我們用更快更便宜的方式找到數(shù)據(jù)的相關(guān)性其徙,并且效果往往更好胚迫,而不必努力去尋找因果關(guān)系。當然唾那,在某些情況下访锻,我們依然要靜心做因果關(guān)系研究和試驗。但是闹获,在日常很多情況下期犬,我們知道“是什么”就夠了,而不必非要弄清楚“為什么”避诽。