2019-06-12

大數(shù)據(jù)領(lǐng)域建模綜述

性能:良好的數(shù)據(jù)模型能幫助我們快速查詢所需要的數(shù)據(jù)燃逻,減少數(shù)據(jù)I/O吞吐葱色。

成本:良好的數(shù)據(jù)模型能極大的減少不必要的數(shù)據(jù)冗余祟霍,也能實現(xiàn)計算結(jié)果復(fù)用哼凯,極大地降低大數(shù)據(jù)系統(tǒng)中的存儲和計算成本褒翰。

效率:良好的數(shù)據(jù)模型能改善數(shù)據(jù)統(tǒng)計口徑的不一致性贮懈,減少數(shù)據(jù)計算錯誤的可能性。

《數(shù)據(jù)庫系統(tǒng)概念》

OLTP系統(tǒng)通常面向的主要數(shù)據(jù)操作是隨機讀寫优训,主要采用滿足3NF的實體關(guān)系模型存儲數(shù)據(jù)朵你,從而在事務(wù)處理中解決數(shù)據(jù)的冗余和一致性問題;而OLAP系統(tǒng)面向的主要數(shù)據(jù)操作是批量讀寫揣非,事務(wù)處理中的一致性不是OLAP所關(guān)注的抡医,其主要關(guān)注數(shù)據(jù)的整合,以及在一次性的復(fù)雜大數(shù)據(jù)查詢和處理中的性能早敬,因此它需要采用一些不同的數(shù)據(jù)建模方法忌傻。

1.ER模型

高層模型:描述主要的主題以及主題間的關(guān)系,用于描述企業(yè)的業(yè)務(wù)總體情況搞监。

中層模型:在高層模型的基礎(chǔ)上水孩,細(xì)化主題的數(shù)據(jù)項。

物理模型(底層模型):在中層模型的基礎(chǔ)上腺逛,考慮物理存儲荷愕,同時基于性能和平臺的特點進(jìn)行物理屬性的設(shè)計衡怀,也可能做一些表的合并、區(qū)分的設(shè)計等安疗。

2.維度模型

3.DATA VAULT模型

hub:是企業(yè)的核心業(yè)務(wù)主體抛杨,由實體key,數(shù)據(jù)倉庫序列代理鍵,裝載時間荐类,數(shù)據(jù)來源組成怖现。

Link:代表hub之間的關(guān)系,這里與ER模型最大的區(qū)別是將關(guān)系作為一個獨立的單元抽象玉罐,可以提升模型的擴展性屈嗤。

satellite:是hub的詳細(xì)描述內(nèi)容,一個內(nèi)容hub可以有多個satellite吊输。

4.Anchor模型

Anchors:類似于Data Vault的HUB,代表業(yè)務(wù)實體饶号,且只有主鍵。

Attributes:功能類似于Data Vault的satellite,但是它更加規(guī)范化季蚂,將其全部K-V結(jié)構(gòu)化茫船,一個表只有一個Anchors的屬性描述。

Ties:就是Anchors之間的關(guān)系扭屁,單獨用表來描述算谈,類似于Data Vault的Link,可以提升整體模型關(guān)系的擴展能力。

Knots:代表那些可能會在多個Anchors中公用的屬性的提煉料滥。

四層模型架構(gòu):ODL(操作數(shù)據(jù)層)+BDL(基礎(chǔ)數(shù)據(jù)層)+IDL(接口數(shù)據(jù)層)+ADL(應(yīng)用數(shù)據(jù)層)

ODL和源系統(tǒng)保持一致然眼;BDL希望引入ER模型,加強數(shù)據(jù)的整合葵腹,構(gòu)建一致的基礎(chǔ)數(shù)據(jù)模型高每;IDL基于維度模型方法構(gòu)建集市層;ADL完成應(yīng)用的個性化和基于展現(xiàn)需求的數(shù)據(jù)組裝礁蔗。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末觉义,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子浴井,更是在濱河造成了極大的恐慌晒骇,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,948評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件磺浙,死亡現(xiàn)場離奇詭異洪囤,居然都是意外死亡,警方通過查閱死者的電腦和手機撕氧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,371評論 3 385
  • 文/潘曉璐 我一進(jìn)店門瘤缩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人伦泥,你說我怎么就攤上這事剥啤〗跸” “怎么了?”我有些...
    開封第一講書人閱讀 157,490評論 0 348
  • 文/不壞的土叔 我叫張陵府怯,是天一觀的道長刻诊。 經(jīng)常有香客問我,道長牺丙,這世上最難降的妖魔是什么则涯? 我笑而不...
    開封第一講書人閱讀 56,521評論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮冲簿,結(jié)果婚禮上粟判,老公的妹妹穿的比我還像新娘。我一直安慰自己峦剔,他們只是感情好档礁,可當(dāng)我...
    茶點故事閱讀 65,627評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著羊异,像睡著了一般事秀。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上野舶,一...
    開封第一講書人閱讀 49,842評論 1 290
  • 那天,我揣著相機與錄音宰衙,去河邊找鬼平道。 笑死,一個胖子當(dāng)著我的面吹牛供炼,可吹牛的內(nèi)容都是我干的一屋。 我是一名探鬼主播,決...
    沈念sama閱讀 38,997評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼袋哼,長吁一口氣:“原來是場噩夢啊……” “哼冀墨!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起涛贯,我...
    開封第一講書人閱讀 37,741評論 0 268
  • 序言:老撾萬榮一對情侶失蹤诽嘉,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后弟翘,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體虫腋,經(jīng)...
    沈念sama閱讀 44,203評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,534評論 2 327
  • 正文 我和宋清朗相戀三年稀余,在試婚紗的時候發(fā)現(xiàn)自己被綠了悦冀。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,673評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡睛琳,死狀恐怖盒蟆,靈堂內(nèi)的尸體忽然破棺而出踏烙,到底是詐尸還是另有隱情,我是刑警寧澤历等,帶...
    沈念sama閱讀 34,339評論 4 330
  • 正文 年R本政府宣布讨惩,位于F島的核電站,受9級特大地震影響募闲,放射性物質(zhì)發(fā)生泄漏步脓。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,955評論 3 313
  • 文/蒙蒙 一浩螺、第九天 我趴在偏房一處隱蔽的房頂上張望靴患。 院中可真熱鬧,春花似錦要出、人聲如沸鸳君。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,770評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽或颊。三九已至,卻和暖如春传于,著一層夾襖步出監(jiān)牢的瞬間囱挑,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,000評論 1 266
  • 我被黑心中介騙來泰國打工沼溜, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留平挑,地道東北人。 一個月前我還...
    沈念sama閱讀 46,394評論 2 360
  • 正文 我出身青樓系草,卻偏偏與公主長得像通熄,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子找都,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,562評論 2 349

推薦閱讀更多精彩內(nèi)容