導(dǎo)讀:在大數(shù)據(jù)領(lǐng)域里,經(jīng)常會(huì)看到例如數(shù)據(jù)挖掘趣钱、OLAP涌献、數(shù)據(jù)統(tǒng)計(jì)等等的專業(yè)詞匯。如果僅僅從字面上首有,我們很難說清楚每個(gè)詞匯的意義和區(qū)別燕垃。今天枢劝,我們就來通過一些大數(shù)據(jù)在高校應(yīng)用的例子,來為大家說明白—數(shù)據(jù)挖掘卜壕、大數(shù)據(jù)您旁、OLAP、數(shù)據(jù)統(tǒng)計(jì)的區(qū)別轴捎。
數(shù)據(jù)分析
數(shù)據(jù)分析是一個(gè)大的概念鹤盒,理論上任何對(duì)數(shù)據(jù)進(jìn)行計(jì)算、處理從而得出一些有意義的結(jié)論的過程侦副,都叫數(shù)據(jù)分析侦锯。從數(shù)據(jù)本身的復(fù)雜程度、以及對(duì)數(shù)據(jù)進(jìn)行處理的復(fù)雜度和深度來看秦驯,可以把數(shù)據(jù)分析分為以下4個(gè)層次:
數(shù)據(jù)統(tǒng)計(jì)
OLAP
數(shù)據(jù)挖掘
大數(shù)據(jù)
數(shù)據(jù)統(tǒng)計(jì)
數(shù)據(jù)統(tǒng)計(jì)是最基本尺碰、最傳統(tǒng)的數(shù)據(jù)分析,自古有之译隘。是指通過統(tǒng)計(jì)學(xué)方法對(duì)數(shù)據(jù)進(jìn)行
排序亲桥、篩選、運(yùn)算固耘、統(tǒng)計(jì)
等處理两曼,從而得出一些有意義的結(jié)論。
舉例玻驻,對(duì)全年級(jí)學(xué)生按照平均成績(jī)從高到低排序,前10%的學(xué)生可以獲得申請(qǐng)研究生免試資格偿枕。
傳統(tǒng)的查詢和報(bào)表工具是告訴你數(shù)據(jù)庫中有什么(What happened)
OLAP
聯(lián)機(jī)分析處理(On-Line Analytical Processing璧瞬,OLAP)是指基于數(shù)據(jù)倉庫的在線多維統(tǒng)計(jì)分析。它允許用戶在線地
從多個(gè)維度觀察某個(gè)度量值渐夸,從而為決策提供支持嗤锉。
舉例,學(xué)校招生時(shí)要決定今年在江蘇的招生指標(biāo)墓塌,不能簡(jiǎn)單地參照去年的計(jì)劃瘟忱,而是要參考多個(gè)維度的數(shù)據(jù)積累。學(xué)校要在這些數(shù)據(jù)的支持下做出合理的決策苫幢。
OLAP更進(jìn)一步告訴你下一步會(huì)怎么樣(What next)访诱,如果我采取這樣的措施又會(huì)怎么樣(What if)
數(shù)據(jù)挖掘
數(shù)據(jù)挖掘是指從海量數(shù)據(jù)中找到人們未知的、可能有用的韩肝、隱藏的規(guī)則触菜,可以通過
關(guān)聯(lián)分析、聚類分析哀峻、時(shí)序分析
等各種算法發(fā)現(xiàn)一些無法通過觀察圖表得出的深層次原因涡相。
舉例哲泊,學(xué)校發(fā)現(xiàn)高等數(shù)學(xué)等主干課的不及格率有逐年上升的趨勢(shì),一般認(rèn)為是學(xué)習(xí)不認(rèn)真所致催蝗,但做了很多工作效果并不明縣切威,這時(shí)通過數(shù)據(jù)挖掘……
針對(duì)此可以采取有針對(duì)性的管理措施。
大數(shù)據(jù)
大數(shù)據(jù)是指用現(xiàn)有的計(jì)算機(jī)軟硬件設(shè)施難以采集丙号、存儲(chǔ)先朦、管理、分析和使用的超大規(guī)模的數(shù)據(jù)集槽袄。大數(shù)據(jù)具有
規(guī)模大烙无、種類雜、快速化遍尺、價(jià)值密度低
等特點(diǎn)(4V特性)截酷。大數(shù)據(jù)的“大”是一個(gè)相對(duì)概念,沒有具體標(biāo)準(zhǔn)乾戏,如果一定要給一個(gè)標(biāo)準(zhǔn)迂苛,那么10-100TB通常稱為大數(shù)據(jù)的門檻。
總結(jié)
從數(shù)據(jù)分析的角度來看鼓择,目前絕大多數(shù)學(xué)校的數(shù)據(jù)應(yīng)用產(chǎn)品都還處在數(shù)據(jù)統(tǒng)計(jì)和報(bào)表分析的階段三幻,能夠?qū)崿F(xiàn)有效的OLAP分析與數(shù)據(jù)挖掘的還很少,而能夠達(dá)到大數(shù)據(jù)應(yīng)用階段的非常少呐能,至少還沒有用過有效的大數(shù)據(jù)集念搬。