Kylin工作原理

Kylin的工作原理本質(zhì)上是MOLAP(Multidimensional Online Analytical Processing) Cube,也就是多維立方體分析。

在說明MOLAP Cube之前先介紹 維度(Dimension) 和 度量(Measure) 這兩個(gè)概念视卢。

  • 維度被group by的字段酥泛,觀察數(shù)據(jù)的角度月趟,正常是時(shí)間袁稽,地點(diǎn)等不用于計(jì)算的值勿璃;
  • 度量被sum等聚合的字段,指被聚合的統(tǒng)計(jì)值推汽,也就是聚合運(yùn)算的結(jié)果补疑,可以是銷售額,銷售商品數(shù)量等統(tǒng)計(jì)值歹撒。
  • 給定一個(gè)數(shù)據(jù)模型莲组,可以對其上的所有維度進(jìn)行組合。對于N個(gè)維度來說暖夭,組合的所有可能性共有2^N種锹杈。
  • 對于每一種維度的組合,將度量做聚合運(yùn)算迈着,然后將運(yùn)算的結(jié)果保存為一個(gè)物化視圖竭望,稱為Cuboid
  • 所有維度組合的Cuboid作為一個(gè)整體裕菠,成為Cube咬清,所以簡單來說,一個(gè)Cube就是許多按維度聚合的物化視圖的集合奴潘。

舉一個(gè)例子解釋一下上面的說法:
假設(shè)有一個(gè)電商的銷售數(shù)據(jù)集旧烧,其中有4個(gè)維度和一個(gè)度量,維度為時(shí)間(Time)画髓、地點(diǎn)(Location)掘剪、商品(Item)和供應(yīng)商(Supplier),度量為銷售額(GMV)奈虾。那么所有維度就有2^4=16種(如圖)夺谁,比如一維度(1D)的組合有[Time]、[Item]肉微、[Location]匾鸥、[Supplier] 4種;二維度(2D)的組合有[Time, Item]浪册、[Time, Location]扫腺、[Time, Supplier]、[Item, Location]村象、[Item, Supplier]笆环、[Location, Supplier] 6種;三維度(3D)的組合也有4種厚者;最后零維度(0D)和四維度(4D)的組合各有1種躁劣,總共16種。

一個(gè)思維Dube的例子

計(jì)算Cuboid库菲,即按維度來聚合銷售額账忘。
如果用SQL語句來表達(dá)計(jì)算Cuboid[Time, Location],那么SQL語句如下:Select Time, Location, Sum(GMV) as GMV from Sales group by Time, Location
將計(jì)算的結(jié)果保存為物化視圖鳖擒,所有Cuboid物化視圖的總稱就是Cube溉浙。

Kylin的工作原理就是對數(shù)據(jù)模型做Cube預(yù)計(jì)算,并利用計(jì)算的結(jié)果加速查詢蒋荚,具體過程如下:

  1. 指定數(shù)據(jù)模型戳稽,定義維度和度量。
  2. 預(yù)計(jì)算Cube期升,計(jì)算所有Cuboid并保存為物化視圖惊奇。
  3. 執(zhí)行查詢時(shí),讀取Cuboid播赁,運(yùn)算颂郎,產(chǎn)生查詢結(jié)果。

事實(shí)表和維度表

事實(shí)表(Fact Table)是指存儲(chǔ)有事實(shí)記錄的表容为,如系統(tǒng)日志乓序、銷售記錄、傳感器數(shù)值等舟奠;事實(shí)表的記錄是動(dòng)態(tài)增長的竭缝,所以它的體積通常遠(yuǎn)大于維度表。

維度表(Dimension Table)或維表沼瘫,也成為查找表(Lookup Table)抬纸,是與事實(shí)表相對應(yīng)的一種表;它保存了維度的屬性值耿戚,可以跟事實(shí)表做關(guān)聯(lián)湿故;相當(dāng)于將事實(shí)表上經(jīng)常重復(fù)的屬性抽取、規(guī)范出來用一張表進(jìn)行管理膜蛔。常見的維度表有:日期表(存儲(chǔ)與日期對應(yīng)的周坛猪、月、季度等屬性)皂股、地區(qū)表(包含國家墅茉、省/州、城市等屬性)等呜呐。維度表的變化通常不會(huì)太大就斤。使用維度表有許多好處:

  1. 縮小了事實(shí)表的大小。
  2. 便于維度的管理和維護(hù)蘑辑,增加洋机、刪除和修改維度的屬性,不必對事實(shí)表的大量記錄進(jìn)行改動(dòng)洋魂。
  3. 維度表可以為多個(gè)事實(shí)表重用绷旗。

星形模型

  • 星形模型(Star Schema)是數(shù)據(jù)挖掘中常用的幾種多維數(shù)據(jù)模型之一喜鼓。它的特點(diǎn)是只有一張事實(shí)表,以及零到多個(gè)維度表衔肢,事實(shí)表與維度表通過主外鍵相關(guān)聯(lián)庄岖,維度表之間沒有關(guān)聯(lián),就像許多小星星圍繞在一顆恒星周圍膀懈,所以名為星形模型顿锰。
  • 另一種常用的模型是雪花模型(SnowFlake Schema)谨垃,就是將星形模型中的某些維表抽取成更細(xì)粒度的維表启搂,然后讓維表之間也進(jìn)行關(guān)聯(lián),這種形狀酷似雪花的的模型稱為雪花模型刘陶。
  • 還有一種更為復(fù)雜的模型胳赌,具有多個(gè)事實(shí)表,維表可以在不同事實(shí)表之間公用匙隔,這種模型被稱為星座模型疑苫。
    不過,Kylin目前只支持星形模型纷责。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末捍掺,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子再膳,更是在濱河造成了極大的恐慌挺勿,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,036評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件喂柒,死亡現(xiàn)場離奇詭異不瓶,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)灾杰,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評論 3 395
  • 文/潘曉璐 我一進(jìn)店門蚊丐,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人艳吠,你說我怎么就攤上這事麦备。” “怎么了昭娩?”我有些...
    開封第一講書人閱讀 164,411評論 0 354
  • 文/不壞的土叔 我叫張陵凛篙,是天一觀的道長。 經(jīng)常有香客問我题禀,道長鞋诗,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,622評論 1 293
  • 正文 為了忘掉前任迈嘹,我火速辦了婚禮削彬,結(jié)果婚禮上全庸,老公的妹妹穿的比我還像新娘。我一直安慰自己融痛,他們只是感情好壶笼,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,661評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著雁刷,像睡著了一般覆劈。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上沛励,一...
    開封第一講書人閱讀 51,521評論 1 304
  • 那天责语,我揣著相機(jī)與錄音,去河邊找鬼目派。 笑死坤候,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的企蹭。 我是一名探鬼主播白筹,決...
    沈念sama閱讀 40,288評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼谅摄!你這毒婦竟也來了徒河?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,200評論 0 276
  • 序言:老撾萬榮一對情侶失蹤送漠,失蹤者是張志新(化名)和其女友劉穎顽照,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體螺男,經(jīng)...
    沈念sama閱讀 45,644評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡棒厘,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,837評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了下隧。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片奢人。...
    茶點(diǎn)故事閱讀 39,953評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖淆院,靈堂內(nèi)的尸體忽然破棺而出何乎,到底是詐尸還是另有隱情,我是刑警寧澤土辩,帶...
    沈念sama閱讀 35,673評論 5 346
  • 正文 年R本政府宣布支救,位于F島的核電站,受9級(jí)特大地震影響拷淘,放射性物質(zhì)發(fā)生泄漏各墨。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,281評論 3 329
  • 文/蒙蒙 一启涯、第九天 我趴在偏房一處隱蔽的房頂上張望贬堵。 院中可真熱鬧恃轩,春花似錦、人聲如沸黎做。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蒸殿。三九已至筷厘,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間宏所,已是汗流浹背酥艳。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留楣铁,地道東北人玖雁。 一個(gè)月前我還...
    沈念sama閱讀 48,119評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像盖腕,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子浓镜,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,901評論 2 355

推薦閱讀更多精彩內(nèi)容