數(shù)倉緩慢變化維深度講解

前言

舉例說明

一克饶、SCD問題的幾種解決方案

以下為解決緩慢變化維問題的幾種辦法:

  • 保留原始值
  • 改寫屬性值
  • 增加維度新行
  • 增加維度新列
  • 添加歷史表

1.1 保留原始值

某一個屬性值絕不會變化逻炊。事實表始終按照該原始值進行分組福荸。例如:出生日期的數(shù)據(jù),始終按照用戶第一次填寫的數(shù)據(jù)為準(zhǔn)

1.2 改變屬性值

  • 對其相應(yīng)需要重寫維度行中的舊值浑娜,以當(dāng)前值替換。因此其始終反映最近的情況就乓。
  • 當(dāng)一個維度值的數(shù)據(jù)源發(fā)生變化泉懦,并且不需要在維度表中保留變化歷史時稿黍,通常用新數(shù)據(jù)來覆蓋舊數(shù)據(jù)。這樣的處理使屬性所反映的中是最新的賦值祠斧。

用戶維度表

修改前:

修改后:

  • 這種方法有個前提,用戶不關(guān)心這個數(shù)據(jù)的變化
  • 這樣處理拱礁,易于實現(xiàn)琢锋,但是沒有保留歷史數(shù)據(jù),無法分析歷史變化信息

1.3 增加維度新行

???????? 數(shù)據(jù)倉庫系統(tǒng)的目標(biāo)之一是正確地表示歷史呢灶。典型代表就是拉鏈表????????

? ? ? ? ? 保留歷史的數(shù)據(jù)吴超,并插入新的數(shù)據(jù)

用戶維度表

修改前:

修改后:

1.4 增加維度新列

???????? 用不同的字段來保存不同的值鸯乃,就是在表中增加一個字段鲸阻,這個字段用來保存變化后的當(dāng)前值,而原來的值則被稱為變化前的值缨睡∧胥玻總的來說,這種方法通過添加字段來保存變化后的痕跡奖年。

用戶維度表

修改前:

修改后

1.5 使用歷史表

???????? 另外建一個表來保存歷史記錄细诸,這種方式就是將歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)完全分開來,在維度中只保存當(dāng)前最新的數(shù)據(jù)陋守。用戶維度表

用戶維度歷史表

這種方式的優(yōu)點是可以同時分析當(dāng)前及前一次變化的屬性值震贵,缺點是只保留了最后一次變化信息。

思考

???????? 我在這里給大家提個場景題水评,比如我們在淘寶上購買一件商品猩系,從下單-支付-發(fā)貨-配送-確認收貨這個幾步流。需求:統(tǒng)計出在發(fā)送到配置過程中轉(zhuǎn)了幾次中燥?

小結(jié)

???????? ?今天給大家分享了SCD解決方案寇甸,但是其實以上的解決方案不是很好,其實數(shù)倉有一個非常好的解決緩慢變化維拉鏈表既保留了歷史數(shù)據(jù)又不會造成數(shù)據(jù)冗余疗涉,拉鏈表我們下期講幽纷。信自己,努力和汗水總會能得到回報的博敬。我是大數(shù)據(jù)老哥友浸,我們下期見~~~

獲取Flink面試題,Spark面試題偏窝,程序員必備軟件收恢,hive面試題武学,Hadoop面試題,Docker面試題伦意,簡歷模板等資源請去GitHub自行下載 https://github.com/lhh2002/Framework-Of-BigData

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末火窒,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子驮肉,更是在濱河造成了極大的恐慌熏矿,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,430評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件离钝,死亡現(xiàn)場離奇詭異票编,居然都是意外死亡,警方通過查閱死者的電腦和手機卵渴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,406評論 3 398
  • 文/潘曉璐 我一進店門慧域,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人浪读,你說我怎么就攤上這事昔榴。” “怎么了碘橘?”我有些...
    開封第一講書人閱讀 167,834評論 0 360
  • 文/不壞的土叔 我叫張陵互订,是天一觀的道長。 經(jīng)常有香客問我痘拆,道長屁奏,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,543評論 1 296
  • 正文 為了忘掉前任错负,我火速辦了婚禮坟瓢,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘犹撒。我一直安慰自己折联,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,547評論 6 397
  • 文/花漫 我一把揭開白布识颊。 她就那樣靜靜地躺著诚镰,像睡著了一般。 火紅的嫁衣襯著肌膚如雪祥款。 梳的紋絲不亂的頭發(fā)上清笨,一...
    開封第一講書人閱讀 52,196評論 1 308
  • 那天,我揣著相機與錄音刃跛,去河邊找鬼抠艾。 笑死,一個胖子當(dāng)著我的面吹牛桨昙,可吹牛的內(nèi)容都是我干的检号。 我是一名探鬼主播腌歉,決...
    沈念sama閱讀 40,776評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼齐苛!你這毒婦竟也來了翘盖?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,671評論 0 276
  • 序言:老撾萬榮一對情侶失蹤凹蜂,失蹤者是張志新(化名)和其女友劉穎馍驯,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體玛痊,經(jīng)...
    沈念sama閱讀 46,221評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡汰瘫,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,303評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了卿啡。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片吟吝。...
    茶點故事閱讀 40,444評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡菱父,死狀恐怖颈娜,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情浙宜,我是刑警寧澤官辽,帶...
    沈念sama閱讀 36,134評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站粟瞬,受9級特大地震影響同仆,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜裙品,卻給世界環(huán)境...
    茶點故事閱讀 41,810評論 3 333
  • 文/蒙蒙 一俗批、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧市怎,春花似錦岁忘、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,285評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至驰弄,卻和暖如春麻汰,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背戚篙。 一陣腳步聲響...
    開封第一講書人閱讀 33,399評論 1 272
  • 我被黑心中介騙來泰國打工五鲫, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人岔擂。 一個月前我還...
    沈念sama閱讀 48,837評論 3 376
  • 正文 我出身青樓臣镣,卻偏偏與公主長得像辅愿,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子忆某,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,455評論 2 359

推薦閱讀更多精彩內(nèi)容