一础米、數(shù)據(jù)核心原理
從“流程”核心轉(zhuǎn)變?yōu)?/b>“數(shù)據(jù)”核心
大數(shù)據(jù)時代添诉,計算模式也發(fā)生了轉(zhuǎn)變,從“流程”核心轉(zhuǎn)變?yōu)椤皵?shù)據(jù)”核心蘑斧。Hadoop體系的分布式計算框架已經(jīng)是“數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求盆偿,將改變IT系統(tǒng)的升級方式:從簡單增量到架構(gòu)變化准浴。大數(shù)據(jù)下的新思維——計算模式的轉(zhuǎn)變。
科學進步越來越多地由數(shù)據(jù)來推動求橄,海量數(shù)據(jù)給數(shù)據(jù)分析既帶來了機遇葡公,也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法催什,綜合源自多個渠道蒲凶、不同時間的信息而獲得的。為了應對大數(shù)據(jù)帶來的挑戰(zhàn)旋圆,我們需要新的統(tǒng)計思路和計算方法。
二搀矫、數(shù)據(jù)價值原理
由功能是價值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價值
大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了刻肄,這個恰恰是互聯(lián)網(wǎng)的特點。非互聯(lián)網(wǎng)時期的產(chǎn)品冰垄,功能一定是它的價值权她,今天互聯(lián)網(wǎng)的產(chǎn)品,數(shù)據(jù)一定是它的價值蝴罪。
數(shù)據(jù)能告訴我們步清,每一個客戶的消費傾向虏肾,他們想要什么欢搜,喜歡什么炒瘟,每個人的需求有哪些區(qū)別,哪些又可以被集合到一起來進行分類疮装。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加,以至于我們能夠?qū)崿F(xiàn)從量變到質(zhì)變的過程刷袍。舉例來說樊展,這里有一張照片,照片里的人在騎馬居暖,這張照片每一分鐘藤肢,每一秒都要拍一張糯景,但隨著處理速度越來越快,從1分鐘一張到1秒鐘1張最住,突然到1秒鐘10張后怠惶,就產(chǎn)生了電影。當數(shù)量的增長實現(xiàn)質(zhì)變時脓魏,就從照片變成了一部電影通惫。
用數(shù)據(jù)價值思維方式思考問題,解決問題珊燎。信息總量的變化導致了信息形態(tài)的變化,量變引發(fā)了質(zhì)變晚吞,最先經(jīng)歷信息爆炸的學科谋国,如天文學和基因?qū)W,創(chuàng)造出了“大數(shù)據(jù)”這個概念烹卒。如今旅急,這個概念幾乎應用到了所有人類致力于發(fā)展的領域中。從功能為價值轉(zhuǎn)變?yōu)閿?shù)據(jù)為價值溺拱,說明數(shù)據(jù)和大數(shù)據(jù)的價值在擴大谣辞,數(shù)據(jù)為“王”的時代出現(xiàn)了。數(shù)據(jù)被解釋是信息句占,信息常識化是知識躯嫉,所以說數(shù)據(jù)解釋、數(shù)據(jù)分析能產(chǎn)生價值祈餐。
三帆阳、全樣本原理
從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本
需要全部數(shù)據(jù)樣本而不是抽樣,你不知道的事情比你知道的事情更重要山宾,但如果現(xiàn)在數(shù)據(jù)足夠多芭逝,它會讓人能夠看得見、摸得著規(guī)律台妆。數(shù)據(jù)這么大、這么多接剩,所以人們覺得有足夠的能力把握未來,對不確定狀態(tài)的一種判斷疫稿,從而做出自己的決定鹃两。這些東西我們聽起來都是非常原始的俊扳,但是實際上背后的思維方式,和我們今天所講的大數(shù)據(jù)是非常像的馋记。
在大數(shù)據(jù)時代梯醒,無論是商家還是信息的搜集者,會比我們自己更知道你可能會想干什么∪紫埃現(xiàn)在的數(shù)據(jù)還沒有被真正挖掘逮光,如果真正挖掘的話,通過信用卡消費的記錄涕刚,可以成功預測未來5年內(nèi)的情況杜漠。統(tǒng)計學里頭最基本的一個概念就是察净,全部樣本才能找出規(guī)律。為什么能夠找出行為規(guī)律锈至?一個更深層的概念是人和人是一樣的译秦,如果是一個人特例出來击碗,可能很有個性稍途,但當人口樣本數(shù)量足夠大時械拍,就會發(fā)現(xiàn)其實每個人都是一模一樣的装盯。
用全數(shù)據(jù)樣本思維方式思考問題,解決問題猖吴。從抽樣中得到的結(jié)論總是有水分的挥转,而全部樣本中得到的結(jié)論水分就很少,大數(shù)據(jù)越大党窜,真實性也就越大借宵,因為大數(shù)據(jù)包含了全部的信息。
四豁护、關(guān)注效率原理
由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率
關(guān)注效率而不是精確度欲间,大數(shù)據(jù)標志著人類在尋求量化和認識世界的道路上前進了一大步猎贴,過去不可計量、存儲她渴、分析和共享的很多東西都被數(shù)據(jù)化了趁耗,擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開了一扇新的大門。大數(shù)據(jù)能提高生產(chǎn)效率和銷售效率满葛,原因是大數(shù)據(jù)能夠讓我們知道市場的需要,人的消費需要纱扭。大數(shù)據(jù)讓企業(yè)的決策更科學乳蛾,由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高,大數(shù)據(jù)分析能提高企業(yè)的效率肃叶。
競爭是企業(yè)的動力因惭,而效率是企業(yè)的生命,效率低與效率高是衡量企來成敗的關(guān)鍵激率。一般來講勿决,投入與產(chǎn)出比是效率,追求高效率也就是追求高價值嘉冒。手工咆繁、機器、自動機器银觅、智能機器之間效率是不同的壤短,智能機器效率更高久脯,已能代替人的思維勞動镰吆。智能機器核心是大數(shù)據(jù)制動,而大數(shù)據(jù)制動的速度更快摧找。在快速變化的市場,快速預測芝雪、快速決策综苔、快速創(chuàng)新、快速定制堡牡、快速生產(chǎn)杨刨、快速上市成為企業(yè)行動的準則,也就是說芥颈,速度就是價值赚抡,效率就是價值怕品,而這一切離不開大數(shù)據(jù)思維。
大數(shù)據(jù)思維有點像混沌思維闯估,確定與不確定交織在一起吼和,過去那種一元思維結(jié)果,已被二元思維結(jié)果取代刚夺。過去尋求精確度末捣,現(xiàn)在尋求高效率箩做;過去尋求因果性,現(xiàn)在尋求相關(guān)性安吁;過去尋找確定性,現(xiàn)在尋找概率性网棍,對不精確的數(shù)據(jù)結(jié)果已能容忍妇智。只要大數(shù)據(jù)分析指出可能性,就會有相應的結(jié)果罗捎,從而為企業(yè)快速決策拉盾、快速動作捉偏、創(chuàng)占先機提高了效率。
五霞掺、關(guān)注相關(guān)性原理
由因果關(guān)系轉(zhuǎn)變?yōu)殛P(guān)注相關(guān)性
關(guān)注相關(guān)性而不是因果關(guān)系讹躯,社會需要放棄它對因果關(guān)系的渴求,而僅需關(guān)注相關(guān)關(guān)系骗灶,也就是說只需要知道是什么秉馏,而不需要知道為什么。這就推翻了自古以來的慣例免都,而我們做決定和理解現(xiàn)實的最基本方式也將受到挑戰(zhàn)帆竹。
大數(shù)據(jù)思維一個最突出的特點栽连,就是從傳統(tǒng)的因果思維轉(zhuǎn)向相關(guān)思維,傳統(tǒng)的因果思維是說我一定要找到一個原因舷暮,推出一個結(jié)果來噩茄。而大數(shù)據(jù)沒有必要找到原因绩聘,不需要科學的手段來證明這個事件和那個事件之間有一個必然,先后關(guān)聯(lián)發(fā)生的一個因果規(guī)律机杜。它只需要知道衅谷,出現(xiàn)這種跡象的時候,我就按照一般的情況获黔,這個數(shù)據(jù)統(tǒng)計的高概率顯示它會有相應的結(jié)果蚀苛,那么我只要發(fā)現(xiàn)這種跡象的時候,我就可以去做一個決策玷氏,我該怎么做堵未。這是和以前的思維方式很不一樣,老實說盏触,它是一種有點反科學的思維渗蟹,科學要求實證,要求找到準確的因果關(guān)系赞辩。
在這個不確定的時代里面雌芽,等我們?nèi)フ业綔蚀_的因果關(guān)系,再去辦事的時候诗宣,這個事情早已經(jīng)不值得辦了。所以“大數(shù)據(jù)”時代的思維有點像回歸了工業(yè)社會的這種機械思維——機械思維就是說我按那個按鈕召庞,一定會出現(xiàn)相應的結(jié)果岛心,是這樣狀態(tài)。而農(nóng)業(yè)社會往前推篮灼,不需要找到中間非常緊密的忘古、明確的因果關(guān)系,而只需要找到相關(guān)關(guān)系诅诱,只需要找到跡象就可以了髓堪。社會因此放棄了尋找因果關(guān)系的傳統(tǒng)偏好,開始挖掘相關(guān)關(guān)系的好處。
全世界的商界人士都在高呼大數(shù)據(jù)時代來臨的優(yōu)勢:一家超市如何從一個17歲女孩的購物清單中干旁,發(fā)現(xiàn)了她已懷孕的事實驶沼;或者將啤酒與尿不濕放在一起銷售,神奇地提高了雙方的銷售額争群。大數(shù)據(jù)透露出來的信息有時確實會起顛覆回怜。比如,騰訊一項針對社交網(wǎng)絡的統(tǒng)計顯示换薄,愛看家庭劇的男人是女性的兩倍還多玉雾;最關(guān)心金價的是中國大媽,但緊隨其后的卻是90后轻要。而在過去一年复旬,支付寶中無線支付比例排名前十的竟然全部在青海、西藏和內(nèi)蒙古地區(qū)冲泥。
用關(guān)注相關(guān)性思維方式來思考問題驹碍,解決問題。尋找原因是一種現(xiàn)代社會的一神論柏蘑,大數(shù)據(jù)推翻了這個論斷幸冻。過去尋找原因的信念正在被“更好”的相關(guān)性所取代。當世界由探求因果關(guān)系變成挖掘相關(guān)關(guān)系咳焚,我們怎樣才能既不損壞建立在因果推理基礎之上的社會繁榮和人類進步的基石洽损,又取得實際的進步呢?這是值得思考的問題革半。
轉(zhuǎn)向相關(guān)性碑定,不是不要因果關(guān)系,因果關(guān)系還是基礎又官,科學的基石還是要的延刘。只是在高速信息化的時代,為了得到即時信息六敬,實時預測碘赖,在快速的大數(shù)據(jù)分析技術(shù)下,尋找到相關(guān)性信息外构,就可預測用戶的行為普泡,為企業(yè)快速決策提供提前量。