數(shù)據(jù)倉庫環(huán)境

數(shù)據(jù)倉庫是體系結(jié)構(gòu)環(huán)境的核心痰憎,是決策支持系統(tǒng)處理的基礎(chǔ)震嫉。數(shù)據(jù)倉庫的建設(shè)中核心步驟是首先要對數(shù)據(jù)倉庫的結(jié)構(gòu)進行了解价卤、建立主題域、管控數(shù)據(jù)的粒度并對數(shù)據(jù)進行分區(qū)處理闯狱。下面我們就具體了解每一個過程煞赢。

一、數(shù)據(jù)倉庫的結(jié)構(gòu)

數(shù)據(jù)倉庫環(huán)境中存在著不同的細節(jié)級:早期細節(jié)級(通常存儲在海量存儲上)哄孤、當(dāng)前細節(jié)級照筑、輕度綜合數(shù)據(jù)級(數(shù)據(jù)集市級)以及高度綜合數(shù)據(jù)級。數(shù)據(jù)倉庫的結(jié)構(gòu)圖如下:

數(shù)據(jù)倉庫的結(jié)構(gòu)

數(shù)據(jù)倉庫的數(shù)據(jù)流轉(zhuǎn)順序:

“1”數(shù)據(jù)由操作型環(huán)境導(dǎo)入到當(dāng)前細節(jié)數(shù)據(jù)瘦陈。

“2”由當(dāng)前細節(jié)數(shù)據(jù)到輕度匯總數(shù)據(jù)凝危。

“3”由輕度匯總到高度匯總數(shù)據(jù)。

如果數(shù)據(jù)已過它的生命周期晨逝,此時執(zhí)行“4”將數(shù)據(jù)轉(zhuǎn)入早期細節(jié)存儲蛾默。


二、數(shù)據(jù)倉庫主題域

數(shù)據(jù)倉庫是面向高層企業(yè)數(shù)據(jù)模型捉貌,已經(jīng)定義好的企業(yè)主題域支鸡。典型的主題域有:顧客、產(chǎn)品趁窃、交易或活動牧挣、政策、索賠醒陆、賬目瀑构。在具體項目實施中建立主題域應(yīng)該遵循以下三點:

1.數(shù)據(jù)倉庫中,每一個主要主題域都是以一組相關(guān)的物理表來具體實現(xiàn)的刨摩。

2.某一個主題域的所有物理表通過一個公共關(guān)鍵字聯(lián)系在一起寺晌。


通過顧客ID將它們聯(lián)系在一起

3.當(dāng)數(shù)據(jù)圍繞主題組織時,每張物理表都有一個時間元素码邻。


數(shù)據(jù)倉庫時間元素

三、數(shù)據(jù)倉庫中數(shù)據(jù)的粒度

數(shù)據(jù)倉庫中數(shù)據(jù)的粒度是數(shù)據(jù)倉庫設(shè)計中最重要的問題另假。數(shù)據(jù)倉庫中粒度的選擇應(yīng)當(dāng)在清楚地知道那些體系結(jié)構(gòu)部件需要從數(shù)據(jù)倉庫獲取數(shù)據(jù)的前提下進行像屋。粒度化存在選擇高粒度級還是低粒度級是個問題,以下對兩種粒度進行了對比边篮。

1.粒度化越低數(shù)據(jù)倉庫越靈活己莺,但是數(shù)據(jù)量大、查詢范圍大戈轿、存儲空間大凌受。

2.粒度化越高,丟失了細節(jié)數(shù)據(jù)思杯,降低了數(shù)據(jù)處理量胜蛉,對很多需要細節(jié)的數(shù)據(jù)分析不支持挠进。

對比兩種方式非常低的粒度會帶來大量數(shù)據(jù),系統(tǒng)最終會被巨大的數(shù)據(jù)量所壓垮誊册。非常高的粒度雖然處理起來高效领突,但卻不能進行許多需要細節(jié)數(shù)據(jù)的分析。


高粒度和低粒度對比


如何在高粒度和低粒度中權(quán)衡


粒度的權(quán)衡是固有的

高低粒度的權(quán)衡非常困難案怯,解決的方法是建立一個服務(wù)于不同類型查詢與分析的雙重粒度的多層數(shù)據(jù)倉庫君旦,可以有效的解決數(shù)據(jù)倉庫的粒度問題。

四嘲碱、數(shù)據(jù)倉庫數(shù)據(jù)的分區(qū)

數(shù)據(jù)分區(qū)是指把數(shù)據(jù)分散到可獨立處理的分離物理單元中去金砍。管理小的物理單元將比管理大的物理單元更加靈活。

分區(qū)標(biāo)準(zhǔn)多種多樣麦锯,例如恕稠,按:時間、業(yè)務(wù)范圍离咐、地理位置谱俭、組織單位等標(biāo)準(zhǔn)進行分區(qū)。

在數(shù)據(jù)倉庫建設(shè)中有兩種分區(qū)方法——在DBMS/操作系統(tǒng)層和在應(yīng)用層進行分區(qū)宵蛀,每一種分區(qū)方法都有各自的優(yōu)缺點昆著,通常,分區(qū)是在應(yīng)用層而非系統(tǒng)層進行的术陶。

五凑懂、小結(jié)

數(shù)據(jù)倉庫通常是有點及面,由個別到全部梧宫,有小到大的一個建設(shè)過程接谨。中間會遇到性能、協(xié)調(diào)塘匣、使用等上面的各種問題脓豪,這是就需要一步一步積累經(jīng)驗,優(yōu)化方法忌卤。數(shù)據(jù)倉庫并非一天建成扫夜,它是一個往復(fù)的過程,一步一步的實現(xiàn)的驰徊。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末笤闯,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子棍厂,更是在濱河造成了極大的恐慌颗味,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件牺弹,死亡現(xiàn)場離奇詭異浦马,居然都是意外死亡时呀,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進店門捐韩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來退唠,“玉大人,你說我怎么就攤上這事荤胁∏圃ぃ” “怎么了?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵仅政,是天一觀的道長垢油。 經(jīng)常有香客問我,道長圆丹,這世上最難降的妖魔是什么滩愁? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮辫封,結(jié)果婚禮上硝枉,老公的妹妹穿的比我還像新娘。我一直安慰自己倦微,他們只是感情好妻味,可當(dāng)我...
    茶點故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著欣福,像睡著了一般责球。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上拓劝,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天雏逾,我揣著相機與錄音,去河邊找鬼郑临。 笑死栖博,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的厢洞。 我是一名探鬼主播仇让,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼犀变!你這毒婦竟也來了妹孙?” 一聲冷哼從身側(cè)響起秋柄,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤获枝,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后骇笔,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體省店,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡嚣崭,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了懦傍。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片雹舀。...
    茶點故事閱讀 40,503評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖粗俱,靈堂內(nèi)的尸體忽然破棺而出说榆,到底是詐尸還是另有隱情,我是刑警寧澤寸认,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布签财,位于F島的核電站,受9級特大地震影響偏塞,放射性物質(zhì)發(fā)生泄漏唱蒸。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一灸叼、第九天 我趴在偏房一處隱蔽的房頂上張望神汹。 院中可真熱鬧,春花似錦古今、人聲如沸屁魏。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蚁堤。三九已至,卻和暖如春但狭,著一層夾襖步出監(jiān)牢的瞬間披诗,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工立磁, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留呈队,地道東北人。 一個月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓唱歧,卻偏偏與公主長得像宪摧,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子颅崩,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,512評論 2 359

推薦閱讀更多精彩內(nèi)容