30分鐘概覽OLAP——起源贷痪,概念及現(xiàn)狀

本文主要面對OLAP入門同學,讀者可以對OLAP起源蹦误、核心概念和當前發(fā)展趨勢有一定理解劫拢。

OLAP起源

OLAP(Online analytical processing),即聯(lián)機分析處理强胰,主要用于支持企業(yè)決策管理分析舱沧。這個概念最初源于1962年Kenneth Iverson發(fā)表的名為“A Programming Language” (APL)的著作,它第一次提出了處理操作和多維變量的的數(shù)學表達式偶洋,后來APL語言由IBM實現(xiàn)熟吏。

隨后數(shù)據(jù)庫之父Edgar F. Codd提出了著名的關系數(shù)據(jù)模型理論《A Relational Model of Data for Large Shared Data Banks 》,為后面數(shù)據(jù)庫發(fā)展奠定基礎玄窝。

第一款OLAP產(chǎn)品Express于1975年問世牵寺,隨著被Oracle收購后繁榮發(fā)展了30余年,最后由繼任者Oracle 9i替代恩脂。這么多年過去缸剪,基本的OLAP理念和數(shù)據(jù)模型仍然未變。

OLAP這個名詞是數(shù)據(jù)庫之父Edgar F. Codd于1993年在文章《Providing OLAP (On-Line Analytical Processing) to User-Analysts: An IT Mandate》提出东亦,他總結了OLAP產(chǎn)品的12個原則,隨后OLAP產(chǎn)品相繼問世并逐漸形成今天的格局。

OLAP核心概念

基本概念
1) 維
  • 維(Dimension):人們觀察事物的視角典阵,如時間奋渔、地理位置、年齡和性別等壮啊,是單一角度概念嫉鲸。
  • 維的層次(Lever of Dimension):表示維度概念基礎上進一步的細分,如時間可以細分為年歹啼、季度玄渗、月三個層次。
  • 維成員(Member of Dimension):表示維不可再細分的原子取值狸眼,如時間維的成員可以是2019年1月10日藤树。
  • 度量(Measure):表示在這個維成員上的取值。

除了維的基本概念拓萌,還有多維分析的分析操作岁钓。

2)操作
  • 下探(Drill down):維度是有層次的,下探表示進入維度的下一層微王,將匯總數(shù)據(jù)拆分到下一層所在細節(jié)數(shù)據(jù)信息屡限,如下圖從第二季度下探到看4、5炕倘、6月的明細數(shù)據(jù)钧大。
  • 上鉆(Drill up): 下探的反向操作,回到更高匯聚層的匯總數(shù)據(jù)罩旋。
  • 切片(Slice):切片可以理解成把立體按某一個維度進行切分啊央,就可以看兩維數(shù)據(jù),如圖中按電子產(chǎn)品切分瘸恼,看到的是時間和地理位置關系的二維數(shù)據(jù)劣挫。
  • 切塊(Dice):相對于切片是按一個點切分,切塊就是按一個范圍(區(qū)間)來做切分东帅。
  • 旋轉(Pivot):維的行列位置交換压固,換一個視角分析數(shù)據(jù)。


    在這里插入圖片描述
在這里插入圖片描述
OLAP分類

OLAP按存儲器的數(shù)據(jù)存儲格式分為ROLAP靠闭、MOLAP和HOLAP帐我。

  • MOLAP(Multi-dimensional OLAP)
    以多維數(shù)組(Multi-dimensional Array)存儲模型的OLAP,是OLAP發(fā)源最初的形態(tài)愧膀,某些方面也等同于OLAP拦键。它的特點是數(shù)據(jù)需要預計算(pre-computaion),然后把預計算之后的結果(cube)存在多維數(shù)組里檩淋。

    • 優(yōu)點:
      • cube包含所有維度的聚合結果芬为,所以查詢速度非程呀穑快。
      • 計算結果數(shù)據(jù)占用的磁盤空間相對關系型數(shù)據(jù)庫更小
    • 缺點:
      • update cube的時間跟計算維度(degree)相關媚朦,可能隨著維度增加計算變慢氧敢,此外預計算還會造成數(shù)據(jù)占用非常大。
      • 靈活度比較低询张,需要提前設計維度模型孙乖,查詢分析的內(nèi)容僅限于這些指定維度,
  • ROLAP(Relational OLAP)
    基于關系模型存放數(shù)據(jù)份氧,一般要求事實表(fact table)和維度表(dimensition table)按一定關系設計唯袄,它不需要預計算,使用標準SQL就可以根據(jù)需要即時查詢不同維度數(shù)據(jù)蜗帜。

    • 優(yōu)點
      • 擴展性強恋拷,適用于維度數(shù)量多的模型,MOLAP對于維度多的模型預計算慢钮糖,空間占用大梅掠。
      • 更適合處理non-aggregate事實,例如文本描述
      • 基于row數(shù)據(jù)更容易做權限管理
    • 缺點
      • 查詢速度一般比MOLAP慢
  • HOLAP

  • 業(yè)界還沒有一致的定義店归,它是MOLAP和ROLAP類型的混合運用阎抒,細節(jié)的數(shù)據(jù)以ROLAP的形式存放,更加方便靈活消痛,而高度聚合的數(shù)據(jù)以MOLAP的形式展現(xiàn)且叁,更適合于高效的分析處理。公司使用HOLAP的目的是根據(jù)不同場景來利用不同OLAP的特性秩伞。

OLAP業(yè)界產(chǎn)品
  • MOLAP 產(chǎn)品有 Cognos Powerplay, Oracle Database OLAP Option, MicroStrategy, Microsoft Analysis Services, Essbase, TM1, Jedox 和 icCube逞带、kylin等等。
  • ROLAP產(chǎn)品有Vertica纱新、Amazon Redshift展氓、Google Dremel、Hulu Nesto脸爱、Presto遇汞、Druid、Impala簿废、Greenplum空入、HAWQ和Doris等。

當前OLAP的發(fā)展狀態(tài)

在國內(nèi)族檬,不論傳統(tǒng)公司還是互聯(lián)網(wǎng)公司歪赢,都開始利用OLAP技術分析挖掘大數(shù)據(jù)的價值,除BAT等大廠會自研OLAP產(chǎn)品外单料,其他中小互聯(lián)網(wǎng)公司普遍擁抱開源埋凯,會使用Kylin点楼、Presto、impala递鹉、Druid和Greenplum等開源技術來實現(xiàn)OLAP分析查詢業(yè)務盟步。

開源OLAP產(chǎn)品可以進一步分類作為技術選型參考:
MOLAP:Kylin、Druid(其中druid用于實時在線分析場景)
ROLAP:Presto躏结、impala (都是基于MPP架構的OLAP分析框架)

參考來源

OLAP發(fā)展歷史
OLAP基礎概念

延深閱讀

關于OLAP的詳細來龍去脈:A survey on OLAP

(完)

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市狰域,隨后出現(xiàn)的幾起案子媳拴,更是在濱河造成了極大的恐慌,老刑警劉巖兆览,帶你破解...
    沈念sama閱讀 216,843評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件屈溉,死亡現(xiàn)場離奇詭異,居然都是意外死亡抬探,警方通過查閱死者的電腦和手機子巾,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,538評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來小压,“玉大人线梗,你說我怎么就攤上這事〉∫妫” “怎么了仪搔?”我有些...
    開封第一講書人閱讀 163,187評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長蜻牢。 經(jīng)常有香客問我烤咧,道長,這世上最難降的妖魔是什么抢呆? 我笑而不...
    開封第一講書人閱讀 58,264評論 1 292
  • 正文 為了忘掉前任煮嫌,我火速辦了婚禮,結果婚禮上抱虐,老公的妹妹穿的比我還像新娘昌阿。我一直安慰自己,他們只是感情好梯码,可當我...
    茶點故事閱讀 67,289評論 6 390
  • 文/花漫 我一把揭開白布宝泵。 她就那樣靜靜地躺著,像睡著了一般轩娶。 火紅的嫁衣襯著肌膚如雪儿奶。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,231評論 1 299
  • 那天鳄抒,我揣著相機與錄音闯捎,去河邊找鬼椰弊。 笑死,一個胖子當著我的面吹牛瓤鼻,可吹牛的內(nèi)容都是我干的秉版。 我是一名探鬼主播,決...
    沈念sama閱讀 40,116評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼茬祷,長吁一口氣:“原來是場噩夢啊……” “哼清焕!你這毒婦竟也來了?” 一聲冷哼從身側響起祭犯,我...
    開封第一講書人閱讀 38,945評論 0 275
  • 序言:老撾萬榮一對情侶失蹤秸妥,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后沃粗,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體粥惧,經(jīng)...
    沈念sama閱讀 45,367評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,581評論 2 333
  • 正文 我和宋清朗相戀三年最盅,在試婚紗的時候發(fā)現(xiàn)自己被綠了突雪。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,754評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡涡贱,死狀恐怖咏删,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情盼产,我是刑警寧澤饵婆,帶...
    沈念sama閱讀 35,458評論 5 344
  • 正文 年R本政府宣布,位于F島的核電站戏售,受9級特大地震影響侨核,放射性物質發(fā)生泄漏。R本人自食惡果不足惜灌灾,卻給世界環(huán)境...
    茶點故事閱讀 41,068評論 3 327
  • 文/蒙蒙 一搓译、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧锋喜,春花似錦些己、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,692評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至炉奴,卻和暖如春逼庞,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背瞻赶。 一陣腳步聲響...
    開封第一講書人閱讀 32,842評論 1 269
  • 我被黑心中介騙來泰國打工赛糟, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留派任,地道東北人。 一個月前我還...
    沈念sama閱讀 47,797評論 2 369
  • 正文 我出身青樓璧南,卻偏偏與公主長得像掌逛,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子司倚,可洞房花燭夜當晚...
    茶點故事閱讀 44,654評論 2 354

推薦閱讀更多精彩內(nèi)容