姓名: 朱佳男
學(xué)號:17021210978
專業(yè):信號與信息處理
轉(zhuǎn)載自:http://www.reibang.com/p/eaaf3d5cf897
【嵌牛導(dǎo)讀】生活在大數(shù)據(jù)的時代啊研,作為高校的研究生或多或少都應(yīng)該對大數(shù)據(jù)的相關(guān)知識有所了解御滩。在大數(shù)據(jù)領(lǐng)域里,經(jīng)常會看到例如數(shù)據(jù)挖掘党远、OLAP削解、數(shù)據(jù)統(tǒng)計等等的專業(yè)詞匯。如果僅僅從字面上沟娱,我們很難說清楚每個詞匯的意義和區(qū)別氛驮。今天,我們就來通過一些大數(shù)據(jù)在高校應(yīng)用的例子济似,來為大家說明白—數(shù)據(jù)挖掘柳爽、大數(shù)據(jù)、OLAP碱屁、數(shù)據(jù)統(tǒng)計的區(qū)別磷脯。
【嵌牛鼻子】數(shù)據(jù)挖掘、OPLA娩脾、數(shù)據(jù)統(tǒng)計
【嵌牛提問 】數(shù)據(jù)挖掘中數(shù)據(jù)分析與OPLA等名詞的專業(yè)定義與解釋是怎樣的赵誓?
【嵌牛正文】
數(shù)據(jù)分析
數(shù)據(jù)分析是一個大的概念,理論上任何對數(shù)據(jù)進(jìn)行計算柿赊、處理從而得出一些有意義的結(jié)論的過程俩功,都叫數(shù)據(jù)分析。從數(shù)據(jù)本身的復(fù)雜程度碰声、以及對數(shù)據(jù)進(jìn)行處理的復(fù)雜度和深度來看诡蜓,可以把數(shù)據(jù)分析分為以下4個層次:
數(shù)據(jù)統(tǒng)計
OLAP
數(shù)據(jù)挖掘
大數(shù)據(jù)
數(shù)據(jù)統(tǒng)計
數(shù)據(jù)統(tǒng)計是最基本、最傳統(tǒng)的數(shù)據(jù)分析胰挑,自古有之蔓罚。是指通過統(tǒng)計學(xué)方法對數(shù)據(jù)進(jìn)行
排序椿肩、篩選、運算豺谈、統(tǒng)計
等處理郑象,從而得出一些有意義的結(jié)論。
舉例茬末,對全年級學(xué)生按照平均成績從高到低排序厂榛,前10%的學(xué)生可以獲得申請研究生免試資格。
傳統(tǒng)的查詢和報表工具是告訴你數(shù)據(jù)庫中有什么(What happened)
OLAP
聯(lián)機分析處理(On-Line Analytical Processing丽惭,OLAP)是指基于數(shù)據(jù)倉庫的在線多維統(tǒng)計分析击奶。它允許用戶在線地
從多個維度觀察某個度量值,從而為決策提供支持责掏。
舉例柜砾,學(xué)校招生時要決定今年在江蘇的招生指標(biāo),不能簡單地參照去年的計劃拷橘,而是要參考多個維度的數(shù)據(jù)積累局义。學(xué)校要在這些數(shù)據(jù)的支持下做出合理的決策。
OLAP更進(jìn)一步告訴你下一步會怎么樣(What next)冗疮,如果我采取這樣的措施又會怎么樣(What if)
數(shù)據(jù)挖掘
數(shù)據(jù)挖掘是指從海量數(shù)據(jù)中找到人們未知的萄唇、可能有用的、隱藏的規(guī)則术幔,可以通過
關(guān)聯(lián)分析另萤、聚類分析、時序分析
等各種算法發(fā)現(xiàn)一些無法通過觀察圖表得出的深層次原因诅挑。
舉例四敞,學(xué)校發(fā)現(xiàn)高等數(shù)學(xué)等主干課的不及格率有逐年上升的趨勢,一般認(rèn)為是學(xué)習(xí)不認(rèn)真所致拔妥,但做了很多工作效果并不明縣忿危,這時通過數(shù)據(jù)挖掘……
針對此可以采取有針對性的管理措施。
大數(shù)據(jù)
大數(shù)據(jù)是指用現(xiàn)有的計算機軟硬件設(shè)施難以采集没龙、存儲铺厨、管理、分析和使用的超大規(guī)模的數(shù)據(jù)集硬纤。大數(shù)據(jù)具有
規(guī)模大解滓、種類雜、快速化筝家、價值密度低
等特點(4V特性)洼裤。大數(shù)據(jù)的“大”是一個相對概念,沒有具體標(biāo)準(zhǔn)溪王,如果一定要給一個標(biāo)準(zhǔn)腮鞍,那么10-100TB通常稱為大數(shù)據(jù)的門檻值骇。
總結(jié)
從數(shù)據(jù)分析的角度來看,目前絕大多數(shù)學(xué)校的數(shù)據(jù)應(yīng)用產(chǎn)品都還處在數(shù)據(jù)統(tǒng)計和報表分析的階段缕减,能夠?qū)崿F(xiàn)有效的OLAP分析與數(shù)據(jù)挖掘的還很少雷客,而能夠達(dá)到大數(shù)據(jù)應(yīng)用階段的非常少芒珠,至少還沒有用過有效的大數(shù)據(jù)集桥狡。