數(shù)據(jù)倉庫(09)數(shù)倉緩慢變化維度數(shù)據(jù)的處理

??數(shù)據(jù)倉庫的重要特點之一是反映歷史變化浇揩,所以如何處理維度的變化是維度設計的重要工作之一础锐。緩慢變化維的提出是因為在現(xiàn)實世界中拘荡,維度的屬性并不是靜態(tài)的,它會隨著時間的流逝發(fā)生緩慢的變化切厘,與數(shù)據(jù)增長較為快速的事實表相比,維度變化相對緩慢疫稿。陰齒這個就叫做緩慢變化維遗座。

??這里介紹的就是這些維度變化的處理途蒋,這邊整理了一下目前主流的緩慢變化維的處理方式馋记。

  • 原樣保留或者重寫梯醒,這種方式理論上都是取最新的值作為維度的最終的取值冤馏,每個維度保留一條數(shù)據(jù)。這種處理方式是最簡單的代箭,直接將原系統(tǒng)的維度同步過來使用就可以涕刚,不用做過多的處理。

  • 插人新的維度行极景,每當維度發(fā)生變化的時候盼樟,插入新增的一行。采用此種方式译秦,保留歷史數(shù)據(jù)筑悴,
    維度值變化前的事實和過去的維度值關聯(lián)阁吝,維度值變化后的事實和當前的維度值關聯(lián)械拍。也就是一個維度會存在多行的數(shù)據(jù)殊者,按時時間范圍將維度與事實表關聯(lián)猖吴。

  • 添加維度列海蔽,采用這種方式党窜,主要是為了將變化前后記錄的事實歸為變化前的維度或者歸為變化后的維度幌衣。也就是將產(chǎn)生變化的維度豁护,可以在匯總的時候按照統(tǒng)一分組處理欲间。

  • 快照存儲,這種方式就是每一個周期定時保存一份數(shù)據(jù)猎贴,與第二點有點想,不過這里會產(chǎn)生很多冗余的數(shù)據(jù)蔑祟,當維度里大部分行在周期內沉唠,變動頻繁的時候右冻,可以采用。不過按照個人的開發(fā)經(jīng)驗牍帚,不恨很建議采用暗赶,具體要根據(jù)業(yè)務實際情況來選擇。

  • 極限存儲歷史拉鏈表岳锁,這種方式是方式2的優(yōu)化版激率,就是當新的維度行與舊的維度行變化前后一致的時候勿决,會合并一條乒躺。還有一點一般拉鏈表的時間粒度可能知道天,但是方式2低缩,一般到秒嘉冒,拉鏈表也是到秒。其他的與方式2一致咆繁。<b>歷史拉鏈表既能滿足對歷史數(shù)據(jù)的需求讳推,又能很大程度的節(jié)省存儲資源</b>。什么是歷史拉鏈表么介?<i>歷史拉鏈表是維護了歷史狀態(tài)娜遵,以及最新狀態(tài)數(shù)據(jù)的一種表。 拉鏈表存儲的數(shù)據(jù)實際上相當于快照壤短,只不過做了優(yōu)化设拟,去除了一部分不變的記錄而已,通過拉鏈表可以很方便的還原出拉鏈時點的客戶記錄慨仿。</i> 拉鏈表既能滿足反應數(shù)據(jù)的歷史狀態(tài),又可以最大程度的節(jié)省存儲纳胧,提高查詢效率镰吆。

維度歷史拉鏈表
  • 微型存儲維度,微型存儲指的就是跑慕,將維度中万皿,快速變化的屬性拆分出來,建立新的維度核行,這個是為了可以解決維度的過度增長導致歷史拉鏈表效果大打折扣的問題牢硅,比如維度每幾分鐘變化一次。屬性快速變化的維度芝雪,稱為快速變化魔鬼維度减余。這個微型維度建議保留基維度,方便后續(xù)數(shù)據(jù)處理惩系。

??當然具體維度需要怎么處理位岔,需要根據(jù)業(yè)務來,畢竟數(shù)據(jù)開發(fā)是一個很貼近業(yè)務的崗位堡牡。

需要數(shù)據(jù)倉庫資料可以點擊這個領取數(shù)據(jù)倉庫(13)大數(shù)據(jù)數(shù)倉經(jīng)典最值得閱讀書籍推薦

原文鏈接:數(shù)據(jù)倉庫(9)數(shù)倉緩慢變化維度數(shù)據(jù)的處理

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末抒抬,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子晤柄,更是在濱河造成了極大的恐慌擦剑,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件芥颈,死亡現(xiàn)場離奇詭異抓于,居然都是意外死亡,警方通過查閱死者的電腦和手機浇借,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來怕品,“玉大人妇垢,你說我怎么就攤上這事∪饪担” “怎么了闯估?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長吼和。 經(jīng)常有香客問我涨薪,道長,這世上最難降的妖魔是什么炫乓? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任刚夺,我火速辦了婚禮献丑,結果婚禮上,老公的妹妹穿的比我還像新娘侠姑。我一直安慰自己创橄,他們只是感情好,可當我...
    茶點故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布莽红。 她就那樣靜靜地躺著妥畏,像睡著了一般。 火紅的嫁衣襯著肌膚如雪安吁。 梳的紋絲不亂的頭發(fā)上醉蚁,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天,我揣著相機與錄音鬼店,去河邊找鬼网棍。 笑死,一個胖子當著我的面吹牛薪韩,可吹牛的內容都是我干的确沸。 我是一名探鬼主播,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼俘陷,長吁一口氣:“原來是場噩夢啊……” “哼罗捎!你這毒婦竟也來了?” 一聲冷哼從身側響起拉盾,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤桨菜,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后捉偏,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體倒得,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年夭禽,在試婚紗的時候發(fā)現(xiàn)自己被綠了霞掺。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,503評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡讹躯,死狀恐怖菩彬,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情潮梯,我是刑警寧澤骗灶,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站秉馏,受9級特大地震影響耙旦,放射性物質發(fā)生泄漏。R本人自食惡果不足惜萝究,卻給世界環(huán)境...
    茶點故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一免都、第九天 我趴在偏房一處隱蔽的房頂上張望锉罐。 院中可真熱鬧,春花似錦琴昆、人聲如沸氓鄙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽抖拦。三九已至,卻和暖如春舷暮,著一層夾襖步出監(jiān)牢的瞬間态罪,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工下面, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留复颈,地道東北人。 一個月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓沥割,卻偏偏與公主長得像耗啦,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子机杜,可洞房花燭夜當晚...
    茶點故事閱讀 45,512評論 2 359

推薦閱讀更多精彩內容