大數(shù)據(jù)概念已經(jīng)提出來(lái)很多年它掂,但直到最近十年巴帮,相關(guān)的技術(shù)發(fā)展才引起大數(shù)據(jù)的爆發(fā)。其中最重要的是大量數(shù)據(jù)產(chǎn)生并且存儲(chǔ)起來(lái)虐秋。數(shù)據(jù)的三個(gè)來(lái)源:1 電腦(如一些log存儲(chǔ)文件)2 傳感器 3 對(duì)之前的所有信息的數(shù)字化記錄榕茧。數(shù)據(jù)量越來(lái)越大,相應(yīng)的客给,存儲(chǔ)數(shù)據(jù)的能力也必須加強(qiáng)用押。幾十年前,人們用即使Mb的軟盤記錄數(shù)據(jù)靶剑,后來(lái)是數(shù)Gb的硬盤蜻拨,現(xiàn)在,存儲(chǔ)能力已經(jīng)提高了很多桩引,但仍跟不上數(shù)據(jù)量的增長(zhǎng)缎讼。于是,有人從節(jié)省數(shù)據(jù)存儲(chǔ)空間上下功夫阐污,減少數(shù)據(jù)冗余休涤,提高數(shù)據(jù)使用便攜性(比如最近幾天,蘋果的iOS系統(tǒng)升級(jí)為iOS10.3笛辟,很多老用戶發(fā)現(xiàn)自己手機(jī)內(nèi)存比之前大了不少功氨,這是因?yàn)樘O果采用了全新的數(shù)據(jù)處理格式)。
硬件軟件條件都達(dá)到手幢,接下來(lái)更重要的是數(shù)據(jù)挖掘捷凄,即如何處理使用數(shù)據(jù)。谷歌大腦項(xiàng)目的核心就是更有效率的處理數(shù)據(jù)围来,也就研發(fā)出了去年名震一時(shí)的alpha go跺涤。谷歌的算法是人工神經(jīng)網(wǎng)絡(luò)算法,舉個(gè)例子监透,它可以在不告訴計(jì)算機(jī)兔子長(zhǎng)什么樣的情況下讓計(jì)算機(jī)自主學(xué)習(xí)桶错,并在上萬(wàn)張圖片中選出兔子的照片。當(dāng)然胀蛮,機(jī)器學(xué)習(xí)不是一般企業(yè)可以做到的院刁,所以未來(lái)一定會(huì)出現(xiàn)專業(yè)提供機(jī)器學(xué)習(xí)服務(wù)的機(jī)構(gòu)。這也引發(fā)了另一個(gè)重要問(wèn)題粪狼,保護(hù)隱私和數(shù)據(jù)安全退腥。
現(xiàn)在科學(xué)家們?yōu)榱吮Wo(hù)數(shù)據(jù)安全做了兩方面努力任岸。一方面是加強(qiáng)文件系統(tǒng)本身的安全設(shè)計(jì),但是收效甚微狡刘,今天的文件系統(tǒng)和40年前的并沒(méi)有太多改進(jìn)享潜。另一個(gè)方面是利用大數(shù)據(jù)本身的特點(diǎn),學(xué)習(xí)了解數(shù)據(jù)間的聯(lián)系嗅蔬,發(fā)現(xiàn)異常操作來(lái)防止數(shù)據(jù)泄露剑按。比如一個(gè)人開(kāi)車,這輛車學(xué)習(xí)了他所有的開(kāi)車習(xí)慣澜术,一旦遇到異常吕座,如司機(jī)坐姿不對(duì),就需要進(jìn)行各種確認(rèn)瘪板,如果不正確,就不能移動(dòng)車漆诽,這可以有效防止偷車事件侮攀。