數(shù)據(jù)倉(cāng)庫(kù)的學(xué)習(xí)

事實(shí)表、維度表嗅回、維度、度量

  • 事實(shí)表:一般為具有可統(tǒng)計(jì)量化的信息的表摧茴。如訂單表適合作為事實(shí)表绵载,其中有訂購(gòu)數(shù)量、訂單金額等可以被統(tǒng)計(jì)和量化的列苛白。

  • 維度表:一般為表示分析的業(yè)務(wù)角度的表娃豹。如商品信息表適合作為維度表,其中有商品類別购裙、商品商標(biāo)等可以作為分析的業(yè)務(wù)角度的列懂版。時(shí)間表通常作為維度表使用,便于按日 / 周 / 月 / 季 / 年統(tǒng)計(jì)業(yè)務(wù)數(shù)據(jù)躏率。

  • 維度:一般為可分析的業(yè)務(wù)角度定续,如訂單日期表示日期維度、商品 ID 表示商品維度禾锤。

  • 度量:一般為可統(tǒng)計(jì)量化的數(shù)值信息私股,如銷售總額、銷售總量等恩掷。通常為可量化的列與函數(shù)一起配合使用倡鲸,如 SUM、COUNT黄娘、TOP_N 等峭状。

Index

索引,在數(shù)據(jù)加載時(shí)將構(gòu)建索引逼争,索引將被用于加速查詢优床。索引分為聚合索引與明細(xì)索引。

  • Aggregate Index
    聚合索引誓焦,本質(zhì)是多個(gè)維度和度量的組合胆敞,適合回答聚合查詢,比如某年的銷售總額杂伟。(sum函數(shù)等聚合函數(shù))
  • Table Index
    表明細(xì)索引移层,本質(zhì)是大寬表的多路索引,適合回答精確到記錄的明細(xì)查詢赫粥,比如某用戶的最近 100 筆交易观话。(select col1,col2 from a;col1,col2為明細(xì)索引)

星型模型:

星型模是一種多維的數(shù)據(jù)關(guān)系,它由一個(gè)事實(shí)表和一組維表組成越平。每個(gè)維表都有一個(gè)維作為主鍵频蛔,所有這些維的主鍵組合成事實(shí)表的主鍵灵迫。強(qiáng)調(diào)的是對(duì)維度進(jìn)行預(yù)處理,將多個(gè)維度集合到一個(gè)事實(shí)表晦溪,形成一個(gè)寬表龟再。這也是我們?cè)谑褂胔ive時(shí),經(jīng)常會(huì)看到一些大寬表的原因尼变,大寬表一般都是事實(shí)表利凑,包含了維度關(guān)聯(lián)的主鍵和一些度量信息,而維度表則是事實(shí)表里面維度的具體信息嫌术,使用時(shí)候一般通過join來組合數(shù)據(jù)哀澈,相對(duì)來說對(duì)OLAP的分析比較方便。

雪花模型:

當(dāng)有一個(gè)或多個(gè)維表沒有直接連接到事實(shí)表上度气,而是通過其他維表連接到事實(shí)表上時(shí)割按,其圖解就像多個(gè)雪花連接在一起,故稱雪花模型磷籍。雪花模型是對(duì)星型模型的擴(kuò)展适荣。它對(duì)星型模型的維表進(jìn)一步層次化,原有的各維表可能被擴(kuò)展為小的事實(shí)表院领,形成一些局部的 "層次 " 區(qū)域弛矛,這些被分解的表都連接到主維度表而不是事實(shí)表。雪花模型更加符合數(shù)據(jù)庫(kù)范式比然,減少數(shù)據(jù)冗余丈氓,但是在分析數(shù)據(jù)的時(shí)候,操作比較復(fù)雜强法,需要join的表比較多所以其性能并不一定比星型模型高万俗。

星型模型和雪花模型的優(yōu)劣對(duì)比:
屬性 星型模型 雪花模型
數(shù)據(jù)總量
可讀性 容易
表個(gè)數(shù)
查詢速度
冗余度
對(duì)事實(shí)表的情況 增加寬度 字段比較少,冗余底
擴(kuò)展性

總結(jié):
通過上面的對(duì)比饮怯,我們可以發(fā)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)大多數(shù)時(shí)候是比較適合使用星型模型構(gòu)建底層數(shù)據(jù)Hive表闰歪,通過大量的冗余來提升查詢效率,星型模型對(duì)OLAP的分析引擎支持比較友好蓖墅,這一點(diǎn)在Kylin中比較能體現(xiàn)库倘。而雪花模型在關(guān)系型數(shù)據(jù)庫(kù)中如MySQL,Oracle中非常常見置媳,尤其像電商的數(shù)據(jù)庫(kù)表于樟。在數(shù)據(jù)倉(cāng)庫(kù)中雪花模型的應(yīng)用場(chǎng)景比較少,但也不是沒有拇囊,所以在具體設(shè)計(jì)的時(shí)候,可以考慮是不是能結(jié)合兩者的優(yōu)點(diǎn)參與設(shè)計(jì)靶橱,以此達(dá)到設(shè)計(jì)的最優(yōu)化目的寥袭。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末路捧,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子传黄,更是在濱河造成了極大的恐慌杰扫,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,470評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件膘掰,死亡現(xiàn)場(chǎng)離奇詭異章姓,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)识埋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門凡伊,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人窒舟,你說我怎么就攤上這事系忙。” “怎么了惠豺?”我有些...
    開封第一講書人閱讀 162,577評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵银还,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我洁墙,道長(zhǎng)蛹疯,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,176評(píng)論 1 292
  • 正文 為了忘掉前任热监,我火速辦了婚禮苍苞,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘狼纬。我一直安慰自己羹呵,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,189評(píng)論 6 388
  • 文/花漫 我一把揭開白布疗琉。 她就那樣靜靜地躺著冈欢,像睡著了一般。 火紅的嫁衣襯著肌膚如雪盈简。 梳的紋絲不亂的頭發(fā)上凑耻,一...
    開封第一講書人閱讀 51,155評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音柠贤,去河邊找鬼香浩。 笑死,一個(gè)胖子當(dāng)著我的面吹牛臼勉,可吹牛的內(nèi)容都是我干的邻吭。 我是一名探鬼主播,決...
    沈念sama閱讀 40,041評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼宴霸,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼囱晴!你這毒婦竟也來了膏蚓?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,903評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤畸写,失蹤者是張志新(化名)和其女友劉穎驮瞧,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體枯芬,經(jīng)...
    沈念sama閱讀 45,319評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡论笔,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,539評(píng)論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了千所。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片狂魔。...
    茶點(diǎn)故事閱讀 39,703評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖真慢,靈堂內(nèi)的尸體忽然破棺而出毅臊,到底是詐尸還是另有隱情,我是刑警寧澤黑界,帶...
    沈念sama閱讀 35,417評(píng)論 5 343
  • 正文 年R本政府宣布管嬉,位于F島的核電站,受9級(jí)特大地震影響朗鸠,放射性物質(zhì)發(fā)生泄漏蚯撩。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,013評(píng)論 3 325
  • 文/蒙蒙 一烛占、第九天 我趴在偏房一處隱蔽的房頂上張望胎挎。 院中可真熱鬧,春花似錦忆家、人聲如沸犹菇。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,664評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽揭芍。三九已至,卻和暖如春卸例,著一層夾襖步出監(jiān)牢的瞬間称杨,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,818評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工筷转, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留姑原,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,711評(píng)論 2 368
  • 正文 我出身青樓呜舒,卻偏偏與公主長(zhǎng)得像锭汛,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,601評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容