淺談數(shù)據(jù)倉庫(DW & BI)(四)

歷史文章:

#42 淺談數(shù)據(jù)倉庫(DW &BI)(一):數(shù)據(jù)倉庫發(fā)展起源及概述

#43 淺談數(shù)據(jù)倉庫(DW &BI)(二):粒度、存儲矢沿、3NF栗菜、星型模型、雪花模型

#44 淺談數(shù)據(jù)倉庫(DW &BI)(三):企業(yè)數(shù)據(jù)倉庫架構(gòu)像棘、數(shù)據(jù)集市簡介

最近一段時間稽亏,頻繁聽到數(shù)據(jù)中臺的概念,尤其是阿里巴巴的數(shù)據(jù)中臺缕题,不太了解數(shù)據(jù)中臺是什么截歉,這幾天在網(wǎng)上學(xué)習(xí)了一下,發(fā)現(xiàn)似乎與企業(yè)數(shù)據(jù)倉庫差別不大烟零?(求指教)我理解的主要區(qū)別在于數(shù)據(jù)中臺做全域數(shù)據(jù)接入瘪松,還有很多非業(yè)務(wù)系統(tǒng)的非結(jié)構(gòu)化數(shù)據(jù),另外數(shù)據(jù)開放锨阿、外部應(yīng)用更多宵睦,對業(yè)務(wù)支撐的接口更多,也提供了更多平臺能力墅诡。

做為數(shù)倉的重要工具壳嚎,今天主要聊一下數(shù)倉的OLAP(Online Analytical Processing)吧~

OLAP不同于操作型數(shù)據(jù)庫的OLTP(Analytical?Transaction),OLTP主要做事務(wù)處理末早,OLAP主要做數(shù)據(jù)分析和展示烟馅,提供直觀的查詢結(jié)果。

OLAP核心建立于數(shù)據(jù)立方體上(Data Cube)之上然磷,那么什么是數(shù)據(jù)立方體呢郑趁?從網(wǎng)上找了一張圖,見下:


其實就是不同維度上(可以是一維姿搜、二維寡润、三維甚至N維)的各類度量的一個立方體。

維度(Dimension):觀察數(shù)據(jù)的角度舅柜,是一個用來過濾梭纹、分類的描述性事實,例如銷售的產(chǎn)品业踢、銷售的區(qū)域栗柒、銷售的時間。

度量(Measure):具體的統(tǒng)計量,例如總銷售額瞬沦、總銷售量太伊、平均銷售額等。

維度又有不同的層次(Level)逛钻,比如銷售時間可以是日層次僚焦、月層次、季度層次曙痘、年層次芳悲。

維的具體成員(Member),是指某一維內(nèi)的具體取值,比如性別中包含男边坤、女名扛、不詳三個成員。茧痒。

然后OLAP其實在把玩這個數(shù)據(jù)立方體肮韧,通過各種操作,將預(yù)設(shè)的立方體翻來覆去旺订,以達到分析數(shù)據(jù)的效果弄企,有點類似獲取數(shù)據(jù)之后,在excel中通過行列轉(zhuǎn)換区拳、篩選器(切片器)的方式做數(shù)據(jù)透視表砾肺。具體的方法有:

1叉信、鉆壬统佟(Drill-down)& 上卷(Roll-up):鉆取是從高維的維度向下鉆洽故,例如看2018年的銷售情況,向下變成看2018年1月至2018年12月各月的銷售情況笆凌。上卷反之业汰,例如將桌子和椅子劃為一個新整體來觀察。

2菩颖、切片(Slice):選擇特定維成員看具體數(shù)據(jù)。

3为障、切塊(Dice):選擇特定范圍內(nèi)的維成員看具體數(shù)據(jù)晦闰。

4、旋轉(zhuǎn)(Pivot):行列轉(zhuǎn)換鳍怨。


然后OLAP根據(jù)數(shù)據(jù)存儲的架構(gòu)呻右,分為這么幾種:

MOLAP(Multidimensional):多維OLAP架構(gòu)是實際生成了一張存放數(shù)據(jù)立方體的表,所有的信息和維度都已經(jīng)在這張表內(nèi)被設(shè)計鞋喇、計算好声滥,速度比較快,存儲上會耗費多一點。

ROLAP(Relational):關(guān)系型OLAP實際后臺存儲的是事實表和維表(一般是星型模型)落塑,前臺的查詢會直接轉(zhuǎn)化為SQL纽疟,后臺訪問相關(guān)表做join處理,速度比較慢憾赁。

HOLAP(Hybrid) :混合OLAP污朽,靈活部署,使用頻率多的應(yīng)用采用MOLAP模式龙考,使用頻率低蟆肆、數(shù)據(jù)量小一點的應(yīng)用采用ROLAP模式。

OLAP如果按照處理方式劃分的話晦款,則可以分為Server OLAP與Client Olap炎功,Server OLAP比較常見,在服務(wù)器端進行分析處理缓溅,然后將結(jié)果返還給用戶蛇损。ClientOLAP則是用戶端下載數(shù)據(jù)到本地,在本地做數(shù)據(jù)處理肛宋。

目前的一些OLAP工具:Congos州藕、Mondrian、Superset酝陈、Druid床玻、Flink等。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末沉帮,一起剝皮案震驚了整個濱河市锈死,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌穆壕,老刑警劉巖待牵,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異喇勋,居然都是意外死亡缨该,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門川背,熙熙樓的掌柜王于貴愁眉苦臉地迎上來贰拿,“玉大人,你說我怎么就攤上這事熄云∨蚋” “怎么了?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵缴允,是天一觀的道長荚守。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么矗漾? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任锈候,我火速辦了婚禮,結(jié)果婚禮上缩功,老公的妹妹穿的比我還像新娘晴及。我一直安慰自己,他們只是感情好嫡锌,可當(dāng)我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布虑稼。 她就那樣靜靜地躺著,像睡著了一般势木。 火紅的嫁衣襯著肌膚如雪蛛倦。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天啦桌,我揣著相機與錄音溯壶,去河邊找鬼。 笑死甫男,一個胖子當(dāng)著我的面吹牛且改,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播板驳,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼又跛,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了若治?” 一聲冷哼從身側(cè)響起慨蓝,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎端幼,沒想到半個月后礼烈,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡婆跑,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年此熬,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片滑进。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡摹迷,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出郊供,到底是詐尸還是另有隱情,我是刑警寧澤近哟,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布驮审,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏疯淫。R本人自食惡果不足惜地来,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望熙掺。 院中可真熱鬧未斑,春花似錦、人聲如沸币绩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽缆镣。三九已至芽突,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間董瞻,已是汗流浹背寞蚌。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留钠糊,地道東北人挟秤。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像抄伍,于是被迫代替她去往敵國和親艘刚。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 數(shù)據(jù)倉庫數(shù)據(jù)倉庫(Data Warehouse)是一個面向主題的(Subject Oriented)逝慧、集成的Int...
    Albert陳凱閱讀 4,963評論 0 15
  • OLTP和OlAP 數(shù)據(jù)處理大致可分為兩大類:聯(lián)機事務(wù)處理OLTP(On-Line Transaction Pro...
    零度沸騰_yjz閱讀 3,107評論 0 3
  • 一昔脯、系統(tǒng)結(jié)構(gòu) 流程:源數(shù)據(jù)層—>數(shù)據(jù)加工層—>數(shù)據(jù)倉庫層—>數(shù)據(jù)應(yīng)用層—>數(shù)據(jù)訪問層左側(cè):結(jié)構(gòu)化數(shù)據(jù)(Mysql)...
    Hill_GM閱讀 7,011評論 0 27
  • 一連幾天,那只小黑狗都躺在街的拐角邊笛臣。 它漠視著所有從身邊經(jīng)過的人云稚,有時它洋洋自得地抬起頭,環(huán)繞四...
    小小的葉閱讀 512評論 0 1
  • 今天有點忙沈堡,同學(xué)電話都沒有接到静陈,給志云回過去,了解到他看書到現(xiàn)在才一本書诞丽,替他著急呀鲸拥,死黨今天電話同學(xué)聚會...
    樂曦悅曦閱讀 123評論 0 3