1伞鲫、數(shù)據(jù)倉(cāng)庫(kù)、OLAP 與 BI

數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)签舞，英文名稱 Data Warehouse秕脓，簡(jiǎn)稱 DW∪宕睿《數(shù)據(jù)倉(cāng)庫(kù)》一書(shū)中的定義 為：數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的吠架、集成的、相對(duì)穩(wěn)定的搂鲫、隨時(shí)間不斷變化（不同時(shí) 間）的數(shù)據(jù)集合傍药，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程、數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)面向 主題，與傳統(tǒng)數(shù)據(jù)庫(kù)面向應(yīng)用相對(duì)應(yīng)拐辽。

利用數(shù)據(jù)倉(cāng)庫(kù)的方式存放的資料拣挪，具有一旦存入，便不會(huì)隨時(shí)間發(fā)生變動(dòng)的 特性俱诸，此外菠劝，存入的資料必定包含時(shí)間屬性，通常一個(gè)數(shù)據(jù)倉(cāng)庫(kù)中會(huì)含有大量的 歷史性資料睁搭，并且它可利用特定的分析方式赶诊，從其中發(fā)掘出特定的資訊。

OLAP

1园骆、OLAP的基本概念

OLAP（Online Analytical Process）舔痪，聯(lián)機(jī)分析處理，以多維度的方式分 析數(shù)據(jù)遇伞，而且能夠彈性地提供上卷（Roll-up）辙喂、下鉆（Drill-down）和切片（Slice） 等操作，它是呈現(xiàn)集成性決策信息的方法鸠珠，多用于決策支持系統(tǒng)巍耗、商務(wù)智能或數(shù) 據(jù)倉(cāng)庫(kù)。其主要的功能在于方便大規(guī)模數(shù)據(jù)分析及統(tǒng)計(jì)計(jì)算渐排，可對(duì)決策提供參考 和支持炬太。與之相區(qū)別的是聯(lián)機(jī)交易處理（OLTP），聯(lián)機(jī)交易處理驯耻，更側(cè)重于基本 的亲族、日常的事務(wù)處理，包括數(shù)據(jù)的增刪改查可缚。

OLAP 需要以大量歷史數(shù)據(jù)為基礎(chǔ)霎迫，再配合上時(shí)間點(diǎn)的差異，對(duì)多維 度及匯整型的信息進(jìn)行復(fù)雜的分析帘靡。

OLAP 需要用戶有主觀的信息需求定義知给，因此系統(tǒng)效率較佳。

OLAP 的概念描姚，在實(shí)際應(yīng)用中存在廣義和狹義兩種不同的理解方式涩赢。廣義上 的理解與字面上的意思相同，泛指一切不會(huì)對(duì)數(shù)據(jù)進(jìn)行更新的分析處理轩勘。但更多 的情況下 OLAP 被理解為其狹義上的含義筒扒，即與多維分析相關(guān)，基于立方體（Cube） 計(jì)算而進(jìn)行的分析绊寻。

OLAP（online analytical processing）是一種軟件技術(shù)花墩，它使分析人員能夠迅速悬秉、一致、交互地從各個(gè)方面觀察信息观游，以達(dá)到深入理解數(shù)據(jù)的目的搂捧。從各方面觀察信息，也就是從不同的維度分析數(shù)據(jù)懂缕，因此OLAP也成為多維分析允跑。

<v:shapetype id="_x0000_t75" stroked="f" filled="f" path="m@4@5l@4@11@9@11@9@5xe" o:preferrelative="t" o:spt="75" coordsize="21600,21600"><v:stroke joinstyle="miter"><v:formulas></v:formulas><v:path o:connecttype="rect" gradientshapeok="t" o:extrusionok="f"></v:path></v:stroke></v:shapetype><v:shape id="圖片_x0020_90" style="width:437.4pt;height:122.4pt;visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1035"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image001.png"></v:imagedata></v:shape>

2、OLAP的類型

也可以分為ROLAP和MOLAP

<v:shape id="圖片_x0020_92" style="width:388.2pt;height:185.4pt; visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1034"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image002.png"></v:imagedata></v:shape>

3搪柑、OLAP CUBE

<v:shape id="圖片_x0020_93" style="width:437.4pt;height:201pt; visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1033"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image003.png"></v:imagedata></v:shape>

4聋丝、CUBE與 Cuboid

<v:shape id="圖片_x0020_94" style="width:437.4pt;height:186pt; visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1032"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image004.png"></v:imagedata></v:shape>

BI

BI（Business Intelligence），即商務(wù)智能工碾，指用現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)技術(shù)弱睦、在線 分析技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)進(jìn)行數(shù)據(jù)分析以實(shí)現(xiàn)商業(yè)價(jià)值渊额。

2况木、事實(shí)表與維度表

事實(shí)表（Fact Table）是指存儲(chǔ)有事實(shí)記錄的表，如系統(tǒng)日志旬迹、銷售記錄等火惊； 事實(shí)表的記錄在不斷地動(dòng)態(tài)增長(zhǎng)，所以它的體積通常遠(yuǎn)大于其他表奔垦。

維度表（Dimension Table）或維表屹耐，有時(shí)也稱查找表（Lookup Table），是 分析事實(shí)的一種角度椿猎，是與事實(shí)表相對(duì)應(yīng)的一種表惶岭；它保存了維度的屬性值，可 以跟事實(shí)表做關(guān)聯(lián)犯眠；相當(dāng)于將事實(shí)表上經(jīng)常重復(fù)出現(xiàn)的屬性抽取按灶、規(guī)范出來(lái)用一 張表進(jìn)行管理。常見(jiàn)的維度表有：日期表（存儲(chǔ)與日期對(duì)應(yīng)的周筐咧、月兆衅、季度等的 屬性）、地點(diǎn)表（包含國(guó)家嗜浮、省／州摩疑、城市等屬性）等危融。使用維度表有諸多好處， 具體如下雷袋。

·縮小了事實(shí)表的大小吉殃。

·便于維度的管理和維護(hù)辞居，增加、刪除和修改維度的屬性蛋勺，不必對(duì)事實(shí)表的 大量記錄進(jìn)行改動(dòng)瓦灶。

·維度表可以為多個(gè)事實(shí)表重用，以減少重復(fù)工作抱完。

3贼陶、維度與度量

維度是指審視數(shù)據(jù)的角度，它通常是數(shù)據(jù)記錄的一個(gè)屬性巧娱，例如時(shí)間碉怔、地點(diǎn) 等。

度量是基于數(shù)據(jù)所計(jì)算出來(lái)的考量值禁添；它通常是一個(gè)數(shù)值撮胧，如總銷售額、不 同的用戶數(shù)等老翘。 分析人員往往要結(jié)合若干個(gè)維度來(lái)審查度量值芹啥，以便在其中找到變化規(guī)律。 在一個(gè) SQL 查詢中铺峭，Group By 的屬性通常就是維度墓怀，而所計(jì)算的值則是度量。 如下面的示例：

<v:shape id="image5.jpeg" style="width:415.2pt;height:22.8pt; visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1031"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image005.jpg"></v:imagedata></v:shape>

在上面的這個(gè)查詢中逛薇，part_dt 和 lstg_site_id 是維度捺疼，sum（price）和

count（distinct seller_id）是度量。

<v:shape id="圖片_x0020_95" style="width:438pt;height:220.2pt; visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1030"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image006.png"></v:imagedata></v:shape>

4永罚、數(shù)據(jù)倉(cāng)庫(kù)建模常用手段方式

星型模型：

星形模型中有一張事實(shí)表啤呼，以及零個(gè)或多個(gè)維度表；事實(shí)表與維度表通過(guò)主 鍵外鍵相關(guān)聯(lián)呢袱，維度表之間沒(méi)有關(guān)聯(lián)官扣，就像很多星星圍繞在一個(gè)恒星周圍，故取 名為星形模型羞福。

<v:shape id="image6.jpeg" style="width:377.4pt;height:256.8pt; visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1029"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image007.jpg"></v:imagedata></v:shape>

雪花模型：

若將星形模型中某些維度的表再做規(guī)范惕蹄，抽取成更細(xì)的維度表，然后讓維

度表之間也進(jìn)行關(guān)聯(lián)治专，那么這種模型稱為雪花模型卖陵。

<v:shape id="image7.jpeg" style="width:412.8pt;height:229.8pt;visibility:visible; mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1028"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image008.jpg"></v:imagedata></v:shape>

星座模式：

星座模式是星型模式延伸而來(lái)，星型模式是基于一張事實(shí)表的张峰，而星座模式是基于多張事實(shí)表的泪蔫，而且共享維度信息。

前面介紹的兩種維度建模方法都是多維表對(duì)應(yīng)單事實(shí)表喘批，但在很多時(shí)候維度空間內(nèi)的事實(shí)表不止一個(gè)撩荣，而一個(gè)維表也可能被多個(gè)事實(shí)表用到铣揉。在業(yè)務(wù)發(fā)展后期，絕大部分維度建模都采用的是星座模式餐曹。

<v:shape id="圖片_x0020_51" style="width:415.2pt;height:216.6pt; visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1027"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image009.png"></v:imagedata></v:shape>

注意：Kylin 只支持星形模型的數(shù)據(jù)集

5逛拱、數(shù)據(jù)立方體

Cube（或 Data Cube），即數(shù)據(jù)立方體台猴，是一種常用于數(shù)據(jù)分析與索引的技術(shù)朽合；它可以對(duì)原始數(shù)據(jù)建立多維度索引。通過(guò) Cube 對(duì)數(shù)據(jù)進(jìn)行分析卿吐，可以大大 加快數(shù)據(jù)的查詢效率旁舰。

Cuboid 在 Kylin 中特指在某一種維度組合下所計(jì)算的數(shù)據(jù)。 給定一個(gè)數(shù)據(jù)模型嗡官，我們可以對(duì)其上的所有維度進(jìn)行組合箭窜。對(duì)于 N 個(gè)維度來(lái)

說(shuō)，組合的所有可能性共有 2 的 N 次方種衍腥。對(duì)于每一種維度的組合磺樱，將度量做 聚合運(yùn)算，然后將運(yùn)算的結(jié)果保存為一個(gè)物化視圖婆咸，稱為 Cuboid竹捉。

所有維度組合的 Cuboid 作為一個(gè)整體，被稱為 Cube尚骄。所以簡(jiǎn)單來(lái)說(shuō)块差，一個(gè) Cube 就是許多按維度聚合的物化視圖的集合。

下面來(lái)列舉一個(gè)具體的例子倔丈。假定有一個(gè)電商的銷售數(shù)據(jù)集憨闰，其中維度包括 時(shí)間（Time）、商品（Item）需五、地點(diǎn)（Location）和供應(yīng)商（Supplier）鹉动，度量為銷 售額（GMV）。那么所有維度的組合就有 2 的 4 次方 =16 種宏邮，比如一維度（1D） 的組合有[Time]泽示、[Item]、[Location]蜜氨、[Supplier]4 種械筛；二維度（2D）的組合 有[Time，Item]飒炎、[Time变姨，Location]、[Time厌丑、Supplier]定欧、[Item，Location]怒竿、 [Item砍鸠，Supplier]、[Location耕驰，Supplier]6 種爷辱；三維度（3D）的組合也有 4 種； 最后零維度（0D）和四維度（4D）的組合各有 1 種朦肘，總共就有 16 種組合饭弓。

<v:shape id="image8.jpeg" style="width:415.8pt;height:219.6pt; visibility:visible;mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1026"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image010.jpg"></v:imagedata></v:shape>

6、Kylin的工作原理

Apache Kylin 的工作原理就是對(duì)數(shù)據(jù)模型做 Cube 預(yù)計(jì)算媒抠，并利用計(jì)算的結(jié) 果加速查詢弟断，具體工作過(guò)程如下。

1）指定數(shù)據(jù)模型趴生，定義維度和度量阀趴。

2）預(yù)計(jì)算 Cube，計(jì)算所有 Cuboid 并保存為物化視圖苍匆。

3）執(zhí)行查詢時(shí)刘急，讀取 Cuboid，運(yùn)算浸踩，產(chǎn)生查詢結(jié)果叔汁。

由于 Kylin 的查詢過(guò)程不會(huì)掃描原始記錄，而是通過(guò)預(yù)計(jì)算預(yù)先完成表的關(guān) 聯(lián)检碗、聚合等復(fù)雜運(yùn)算据块，并利用預(yù)計(jì)算的結(jié)果來(lái)執(zhí)行查詢，因此相比非預(yù)計(jì)算的查 詢技術(shù)后裸，其速度一般要快一到兩個(gè)數(shù)量級(jí)瑰钮，并且這點(diǎn)在超大的數(shù)據(jù)集上優(yōu)勢(shì)更明 顯。當(dāng)數(shù)據(jù)集達(dá)到千億乃至萬(wàn)億級(jí)別時(shí)微驶，Kylin 的速度甚至可以超越其他非預(yù)計(jì)算技術(shù) 1000 倍以上浪谴。

7、Kylin的體系架構(gòu)

Apache Kylin 系統(tǒng)可以分為在線查詢和離線構(gòu)建兩部分因苹，技術(shù)架構(gòu)如圖所 示苟耻，在線查詢的模塊主要處于上半?yún)^(qū)，而離線構(gòu)建則處于下半?yún)^(qū)扶檐。

<v:shape id="image9.jpeg" style="width:414.6pt;height:245.4pt;visibility:visible; mso-wrap-style:square" type="#_x0000_t75" o:spid="_x0000_i1025"><v:imagedata o:title="" src="file:///C:\Users\chenning\AppData\Local\Temp\msohtmlclip1\01\clip_image011.jpg"></v:imagedata></v:shape>

1）REST Server

REST Server是一套面向應(yīng)用程序開(kāi)發(fā)的入口點(diǎn)凶杖，旨在實(shí)現(xiàn)針對(duì)Kylin平臺(tái)的應(yīng)用開(kāi)發(fā)工作。 此類應(yīng)用程序可以提供查詢款筑、獲取結(jié)果智蝠、觸發(fā)cube構(gòu)建任務(wù)腾么、獲取元數(shù)據(jù)以及獲取用戶權(quán)限等等。另外可以通過(guò)Restful接口實(shí)現(xiàn)SQL查詢杈湾。

2）查詢引擎（Query Engine）

當(dāng)cube準(zhǔn)備就緒后解虱，查詢引擎就能夠獲取并解析用戶查詢。它隨后會(huì)與系統(tǒng)中的其它組件進(jìn)行交互漆撞，從而向用戶返回對(duì)應(yīng)的結(jié)果殴泰。

3）路由器（Routing）

在最初設(shè)計(jì)時(shí)曾考慮過(guò)將Kylin不能執(zhí)行的查詢引導(dǎo)去Hive中繼續(xù)執(zhí)行，但在實(shí)踐后發(fā)現(xiàn)Hive與Kylin的速度差異過(guò)大浮驳，導(dǎo)致用戶無(wú)法對(duì)查詢的速度有一致的期望悍汛，很可能大多數(shù)查詢幾秒內(nèi)就返回結(jié)果了，而有些查詢則要等幾分鐘到幾十分鐘至会，因此體驗(yàn)非常糟糕离咐。最后這個(gè)路由功能在發(fā)行版中默認(rèn)關(guān)閉。

4）元數(shù)據(jù)管理工具（Metadata）

Kylin是一款元數(shù)據(jù)驅(qū)動(dòng)型應(yīng)用程序奋献。元數(shù)據(jù)管理工具是一大關(guān)鍵性組件健霹，用于對(duì)保存在Kylin當(dāng)中的所有元數(shù)據(jù)進(jìn)行管理，其中包括最為重要的cube元數(shù)據(jù)瓶蚂。其它全部組件的正常運(yùn)作都需以元數(shù)據(jù)管理工具為基礎(chǔ)糖埋。 Kylin的元數(shù)據(jù)存儲(chǔ)在hbase中。

5）任務(wù)引擎（Cube Build Engine）

這套引擎的設(shè)計(jì)目的在于處理所有離線任務(wù)窃这，其中包括shell腳本瞳别、Java API以及Map Reduce任務(wù)等等。任務(wù)引擎對(duì)Kylin當(dāng)中的全部任務(wù)加以管理與協(xié)調(diào)杭攻，從而確保每一項(xiàng)任務(wù)都能得到切實(shí)執(zhí)行并解決其間出現(xiàn)的故障祟敛。

8、Kylin特點(diǎn)

Kylin的主要特點(diǎn)包括支持SQL接口兆解、支持超大規(guī)模數(shù)據(jù)集馆铁、亞秒級(jí)響應(yīng)、可伸縮性锅睛、高吞吐率埠巨、BI工具集成等。

1）標(biāo)準(zhǔn)SQL接口：Kylin是以標(biāo)準(zhǔn)的SQL作為對(duì)外服務(wù)的接口现拒。

2）支持超大數(shù)據(jù)集：Kylin對(duì)于大數(shù)據(jù)的支撐能力可能是目前所有技術(shù)中最為領(lǐng)先的辣垒。早在2015年eBay的生產(chǎn)環(huán)境中就能支持百億記錄的秒級(jí)查詢，之后在移動(dòng)的應(yīng)用場(chǎng)景中又有了千億記錄秒級(jí)查詢的案例印蔬。

3）亞秒級(jí)響應(yīng)：Kylin擁有優(yōu)異的查詢相應(yīng)速度勋桶，這點(diǎn)得益于預(yù)計(jì)算，很多復(fù)雜的計(jì)算，比如連接例驹、聚合捐韩，在離線的預(yù)計(jì)算過(guò)程中就已經(jīng)完成，這大大降低了查詢時(shí)刻所需的計(jì)算量眠饮，提高了響應(yīng)速度奥帘。

4）可伸縮性和高吞吐率：?jiǎn)喂?jié)點(diǎn)Kylin可實(shí)現(xiàn)每秒70個(gè)查詢，還可以搭建Kylin的集群仪召。

5）BI工具集成

Kylin可以與現(xiàn)有的BI工具集成，具體包括如下內(nèi)容松蒜。

ODBC：與Tableau扔茅、Excel、PowerBI等工具集成

JDBC：與Saiku秸苗、BIRT等Java工具集成

RestAPI：與JavaScript召娜、Web網(wǎng)頁(yè)集成

Kylin開(kāi)發(fā)團(tuán)隊(duì)還貢獻(xiàn)了Zepplin的插件，也可以使用Zepplin來(lái)訪問(wèn)Kylin服務(wù)惊楼。