老生長(zhǎng)談的數(shù)據(jù)倉(cāng)庫(kù) 3 種建模方法命迈,附貓眼娛樂(lè)數(shù)倉(cāng)架構(gòu)演進(jìn)贩绕!

貓眼技術(shù)團(tuán)隊(duì)
https://juejin.im/post/5d5be159f265da03970bbc3a

數(shù)據(jù)倉(cāng)庫(kù)存在的初期,甚至沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)的時(shí)候壶愤,貓眼的日常需求報(bào)表和數(shù)據(jù)接口提供方式如圖一:

數(shù)據(jù)散落在企業(yè)各數(shù)據(jù)散落在企業(yè)各部門(mén)應(yīng)用的數(shù)據(jù)存儲(chǔ)中淑倾,它們之間有著復(fù)雜的業(yè)務(wù)連接關(guān)系,從整體上看就如一張巨大的蜘蛛網(wǎng):結(jié)構(gòu)上錯(cuò)綜復(fù)雜征椒,卻又四通八達(dá)娇哆。在企業(yè)級(jí)數(shù)據(jù)應(yīng)用上單一業(yè)務(wù)使用方便,且靈活多變陕靠;但涉及到跨業(yè)務(wù)迂尝、多部門(mén)聯(lián)合應(yīng)用就會(huì)存在:

  • 數(shù)據(jù)來(lái)源多樣化,管理決策數(shù)據(jù)過(guò)于分散剪芥;

  • 數(shù)據(jù)缺乏標(biāo)準(zhǔn)垄开,難以整合;

  • 數(shù)據(jù)口徑不統(tǒng)一税肪,可信度低溉躲;

  • 缺乏數(shù)據(jù)管控體系榜田,數(shù)據(jù)質(zhì)量根本無(wú)法保證。

從這種原始數(shù)據(jù)存儲(chǔ)的方式提取數(shù)據(jù)锻梳,長(zhǎng)期以往將會(huì)碰見(jiàn)以下問(wèn)題:

  • 數(shù)據(jù)缺乏可信性

  • 數(shù)據(jù)越來(lái)越分散化

  • 數(shù)據(jù)缺乏統(tǒng)一的標(biāo)準(zhǔn)箭券,將失去數(shù)據(jù)準(zhǔn)確性的意義

image

數(shù)據(jù)倉(cāng)庫(kù)的定義

數(shù)據(jù)倉(cāng)庫(kù)之父Bill Inmon在1991年出版的“Building the Data Warehouse”一書(shū)中所提出的定義被廣泛接受:數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse)是一個(gè)面向主題的(Subject Oriented)、集成的(Integrated)疑枯、相對(duì)穩(wěn)定的(Non-Volatile)辩块、反映歷史變化(Time Variant)的數(shù)據(jù)集合,用于支持管理決策(Decision Making Support)

  • 面向主題的:普通的操作型數(shù)據(jù)庫(kù)主要面向事務(wù)性處理荆永,而數(shù)據(jù)倉(cāng)庫(kù)中的所有數(shù)據(jù)一般按照主題進(jìn)行劃分废亭。主題是對(duì)業(yè)務(wù)數(shù)據(jù)的一種抽象,是從較高層次上對(duì)信息系統(tǒng)中的數(shù)據(jù)進(jìn)行歸納和整理具钥。面向主題的數(shù)據(jù)可以劃分成兩部分----根據(jù)原系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)進(jìn)行主題的抽取和確定每個(gè)主題所包含的數(shù)據(jù)內(nèi)容豆村。例如用戶主題、折扣卡主題骂删、賣(mài)品主題掌动、活動(dòng)主題、財(cái)務(wù)主題等宁玫;分析數(shù)據(jù)倉(cāng)庫(kù)主題的時(shí)候粗恢,一般方法是先確定幾個(gè)基本的主題,然后再將范圍擴(kuò)大撬统,最后再逐步求精

  • 集成性:面向操作型的數(shù)據(jù)庫(kù)通常是異構(gòu)的适滓、并且相互獨(dú)立,所以無(wú)法對(duì)信息進(jìn)行概括和反映信息的本質(zhì)恋追。而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是經(jīng)過(guò)數(shù)據(jù)的抽取凭迹、清洗、切換苦囱、加載得到的嗅绸,所以為了保證數(shù)據(jù)不存在二義性,必須對(duì)數(shù)據(jù)進(jìn)行編碼統(tǒng)一和必要的匯總撕彤,以保證數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的一致性鱼鸠。數(shù)據(jù)倉(cāng)庫(kù)在經(jīng)歷數(shù)據(jù)集成階段后,使數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都遵守統(tǒng)一的編碼規(guī)則羹铅,并且消除許多冗余數(shù)據(jù)蚀狰。

  • 穩(wěn)定性:數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)反映的都是一段歷史時(shí)期的數(shù)據(jù)內(nèi)容,它的主要操作是查詢职员、分析而不進(jìn)行一般意義上的更新(數(shù)據(jù)集成前的操作型數(shù)據(jù)庫(kù)主要完成數(shù)據(jù)的增加麻蹋、修改、刪除焊切、查詢)扮授,一旦某個(gè)數(shù)據(jù)進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)后芳室,一般情況下數(shù)據(jù)會(huì)被長(zhǎng)期保留,當(dāng)超過(guò)規(guī)定的期限才會(huì)被刪除刹勃。通常數(shù)據(jù)倉(cāng)庫(kù)需要做的工作就是加載堪侯、查詢和分析,一般不進(jìn)行任何修改操作荔仁,是為了企業(yè)高層人員決策分析之用伍宦,(以上方法對(duì)于專(zhuān)資數(shù)據(jù)不太適用,專(zhuān)資數(shù)據(jù)總是存在部分影院延遲上報(bào)的問(wèn)題)

  • 反映歷史變化:數(shù)據(jù)倉(cāng)庫(kù)不斷從操作型數(shù)據(jù)庫(kù)或其他數(shù)據(jù)源獲取變化的數(shù)據(jù)咕晋,從而分析和預(yù)測(cè)需要的歷史數(shù)據(jù)雹拄,所以一般數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)表的鍵碼(維度)都含有時(shí)間鍵收奔,以表明數(shù)據(jù)的歷史時(shí)期信息掌呜,然后不斷增加新的數(shù)據(jù)內(nèi)容。通過(guò)這些歷史信息可以對(duì)企業(yè)的發(fā)展歷程和趨勢(shì)做出分析和預(yù)測(cè)坪哄。數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)需要大量的業(yè)務(wù)數(shù)據(jù)作為積累质蕉,并將這些寶貴的歷史信息經(jīng)過(guò)加工、整理翩肌,最后提供給決策分析人員模暗,這是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的根本目的。

數(shù)據(jù)倉(cāng)庫(kù)建模方法

實(shí)體建模法

實(shí)體建模并不是數(shù)據(jù)倉(cāng)庫(kù)建模中常見(jiàn)的一個(gè)方法念祭,它來(lái)源于哲學(xué)的一個(gè)流派兑宇。從哲學(xué)的意義上說(shuō),客觀世界應(yīng)該是可以細(xì)分的粱坤,客觀世界應(yīng)該可以分成由一個(gè)個(gè)實(shí)體隶糕,以及實(shí)體與實(shí)體之間的關(guān)系組成。那么在數(shù)據(jù)倉(cāng)庫(kù)的建模過(guò)程中完全可以引入這個(gè)抽象的方法站玄,將整個(gè)業(yè)務(wù)也可以劃分成一個(gè)個(gè)的實(shí)體枚驻,而每個(gè)實(shí)體之間的關(guān)系,以及針對(duì)這些關(guān)系的說(shuō)明就是我們數(shù)據(jù)建模需要做的工作株旷。 雖然實(shí)體建脑俚牵看起來(lái)好像有些抽象,其實(shí)理解起來(lái)很容易晾剖。即我們可以將任何一個(gè)業(yè)務(wù)劃分成3個(gè)部分锉矢,實(shí)體,事件和說(shuō)明齿尽。

image

上圖表述的是一個(gè)抽象的含義沽损,如果描述一個(gè)簡(jiǎn)單的事實(shí):“小明開(kāi)車(chē)去學(xué)校上學(xué)”。以這個(gè)業(yè)務(wù)事實(shí)為例雕什,我們可以把“小明”缠俺,“學(xué)邢跃В”看成是一個(gè)實(shí)體,“上學(xué)”描述成一個(gè)業(yè)務(wù)過(guò)程壹士,在這里可以抽象為一個(gè)具體“事件”磷雇,而“開(kāi)車(chē)去”怎可以看成事件“上學(xué)”的一個(gè)說(shuō)明。

從上面列舉的例子可以了解躏救,我們使用的抽象歸納方法其實(shí)很簡(jiǎn)單唯笙,任何業(yè)務(wù)可以看成3個(gè)部分:

  • 實(shí)體:指領(lǐng)域建模中特定的概念主題,指發(fā)生業(yè)務(wù)關(guān)系的對(duì)象盒使;

  • 事件:指概念主體之間完成一次業(yè)務(wù)流程的過(guò)程崩掘,指特定的業(yè)務(wù)過(guò)程;

  • 說(shuō)明:主要是針對(duì)實(shí)體和事件的特殊說(shuō)明少办。

由于實(shí)體建模法苞慢,能夠很輕松的實(shí)現(xiàn)業(yè)務(wù)建模的劃分。因此英妓,在業(yè)務(wù)建模階段和領(lǐng)域建模階段挽放,實(shí)體建模方法有著廣泛的應(yīng)用。一般在沒(méi)有現(xiàn)成的行業(yè)建模的情況下蔓纠,可以采用實(shí)體建模的方法辑畦,和客戶一起清理整個(gè)業(yè)務(wù)的模型,進(jìn)行領(lǐng)域概念的劃分腿倚,抽象出具體的業(yè)務(wù)概念纯出,結(jié)合客戶的使用特點(diǎn),完全可以創(chuàng)建出一個(gè)符合自己需要的數(shù)據(jù)倉(cāng)庫(kù)模型來(lái)敷燎。 但是暂筝,實(shí)體建模也有著自己先天的缺陷,由于實(shí)體說(shuō)明法只是一種抽象客觀事件的方法懈叹,因此乖杠,注定了該建模方法只能局限在業(yè)務(wù)建模和領(lǐng)域概念建模階段。因此澄成,到了邏輯建模階段和物理建模階段胧洒,則是范式建模和維度建模發(fā)揮長(zhǎng)處的階段。

范式建模法

范式建模法其實(shí)是我們?cè)跇?gòu)建數(shù)據(jù)模型常用的一個(gè)方法墨状,該方法的主要由inmon所提倡卫漫,主要解決關(guān)系型數(shù)據(jù)庫(kù)中數(shù)據(jù)存儲(chǔ),利用的一種技術(shù)層面上的方法肾砂。目前列赎,在關(guān)系型數(shù)據(jù)庫(kù)中的建模方法,大部分采用的是三范式建模法镐确。 范式是數(shù)據(jù)庫(kù)邏輯模型設(shè)計(jì)的基本理論包吝,一個(gè)關(guān)系模型可以從第一范式到第三范式進(jìn)行無(wú)損分解饼煞,這個(gè)過(guò)程也可以稱(chēng)為規(guī)范化。在數(shù)據(jù)倉(cāng)庫(kù)的模型設(shè)計(jì)中目前一般采用第三范式诗越,他有著嚴(yán)格的數(shù)學(xué)定義砖瞧。從其表達(dá)的含義來(lái)看,一個(gè)符合第三范式的關(guān)系必須具有以下三個(gè)條件:

  • 每個(gè)屬性值唯一嚷狞,不具有多義性块促;

  • 每個(gè)非主屬性必須完全依賴于整個(gè)主鍵,而非主鍵的一部分床未;

  • 每個(gè)非主屬性不能依賴于其他關(guān)系中的屬性竭翠,因?yàn)檫@樣的話,這種屬性應(yīng)該歸到其他關(guān)系中去薇搁。

根據(jù)Inmon的觀點(diǎn)斋扰,數(shù)據(jù)倉(cāng)庫(kù)模型的建設(shè)方法和業(yè)務(wù)系統(tǒng)的企業(yè)數(shù)據(jù)模型類(lèi)似。在業(yè)務(wù)系統(tǒng)中只酥,企業(yè)數(shù)據(jù)模型決定了數(shù)據(jù)的來(lái)源褥实,而企業(yè)數(shù)據(jù)模型也分為兩個(gè)層次,即主題域模型和邏輯模型裂允。同樣,主題域模型可以看成業(yè)務(wù)模型的概念模型哥艇,而邏輯模型則是域模型在關(guān)系型數(shù)據(jù)庫(kù)上的實(shí)例化绝编。

image

從業(yè)務(wù)數(shù)據(jù)模型轉(zhuǎn)向數(shù)據(jù)倉(cāng)庫(kù)模型時(shí),同樣也需要有數(shù)據(jù)倉(cāng)庫(kù)的域模型貌踏,即概念模型十饥,同時(shí)也存在域模型的邏輯模型。這里祖乳,業(yè)務(wù)模型中的數(shù)據(jù)模型和數(shù)據(jù)倉(cāng)庫(kù)的模型稍稍有一些不同逗堵,主要區(qū)別在于:

  • 數(shù)據(jù)倉(cāng)庫(kù)的域模型應(yīng)該包含企業(yè)數(shù)據(jù)模型的域模型之間的關(guān)系,以及各個(gè)域模型定義眷昆。數(shù)據(jù)倉(cāng)庫(kù)的域模型的概念應(yīng)該比業(yè)務(wù)系統(tǒng)的主題域模型規(guī)范更加廣蜒秤。

  • 在數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型需要從業(yè)務(wù)系統(tǒng)的數(shù)據(jù)模型中的邏輯模型中抽象實(shí)體,實(shí)體的屬性亚斋,實(shí)體的子類(lèi)作媚,以及實(shí)體的關(guān)系等。

范式建模法的最大優(yōu)點(diǎn)就是從關(guān)系型數(shù)據(jù)庫(kù)的角度出發(fā)帅刊,結(jié)合了業(yè)務(wù)系統(tǒng)的數(shù)據(jù)模型纸泡,能夠比較方便的實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的建模。但其缺點(diǎn)也很明顯赖瞒,由于建模方法限定在關(guān)系型數(shù)據(jù)庫(kù)之上女揭,在某些時(shí)候反而限制了整個(gè)數(shù)據(jù)倉(cāng)庫(kù)模型的靈活性蚤假,性能等,特別是考慮數(shù)據(jù)倉(cāng)庫(kù)的底層數(shù)據(jù)向數(shù)據(jù)集市的數(shù)據(jù)進(jìn)行匯總時(shí)吧兔,需要進(jìn)行一定的變通才能滿足響應(yīng)的需求勤哗。

維度建模法

維度建模法,是Kimball最先提出的概念掩驱,將數(shù)據(jù)抽象為事實(shí)表與維度表兩種芒划,而根據(jù)二者之間的關(guān)系將整體的模型劃分為星型模型與雪花模型兩種。這種建模方法的優(yōu)勢(shì)在于欧穴,根據(jù)各個(gè)維度對(duì)數(shù)據(jù)進(jìn)行了預(yù)處理民逼,比如按照時(shí)間維度進(jìn)行預(yù)先的統(tǒng)計(jì)、分類(lèi)等等涮帘,可以提高數(shù)據(jù)分析應(yīng)用時(shí)的效率拼苍,是適于分析的一種方法。具體來(lái)看看幾個(gè)概念:

  • 維度表與事實(shí)表调缨。維度表疮鲫,描述的是事物的屬性,反映了觀察事物的角度弦叶。事實(shí)表俊犯,描述的是業(yè)務(wù)過(guò)程的事實(shí)數(shù)據(jù),是要關(guān)注的具體內(nèi)容伤哺,每行數(shù)據(jù)對(duì)應(yīng)一個(gè)或多個(gè)度量事件燕侠。比如,分析“某地區(qū)某商品某季度的銷(xiāo)量”立莉,就是從地區(qū)绢彤、商品、時(shí)間(季度)三個(gè)角度來(lái)觀察商品的銷(xiāo)量蜓耻,維度表有地區(qū)表茫舶、商品表和時(shí)間表,事實(shí)表為銷(xiāo)量表刹淌。在銷(xiāo)量表中饶氏,通過(guò)鍵值關(guān)聯(lián)到三個(gè)維度表中,通過(guò)度量值來(lái)表示對(duì)應(yīng)的銷(xiāo)量芦鳍,因此事實(shí)表通常有兩種字段:鍵值列嚷往、度量值列。

  • 星型模型與雪花模型柠衅。兩種模型表達(dá)的是事實(shí)表與維度表之間的關(guān)系皮仁。當(dāng)所有需要的維度表都直接關(guān)聯(lián)到事實(shí)表時(shí),看上去就是一顆星星,稱(chēng)之為星型模型贷祈;當(dāng)有一個(gè)或多個(gè)維表沒(méi)有直接關(guān)聯(lián)到到事實(shí)表上趋急,而是通過(guò)其他維度表連接到事實(shí)表上時(shí),看上去就是一顆雪花势誊,稱(chēng)之為雪花模型呜达。二者的區(qū)別在于,雪花模型一定程度上降低了信息冗余度粟耻,但是合適的冗余信息能有效的幫助我們提高查詢效率查近。

image
  • 基本的維度建模思路。維度建模的基本思路可以歸納為這么幾點(diǎn):第一挤忙,確定主題霜威,即搞清楚要分析的主題是什么,比如上述的“某地區(qū)某商品某季度的銷(xiāo)量”册烈;第二戈泼,確定分析的維度,準(zhǔn)備從哪幾個(gè)角度來(lái)分析數(shù)據(jù)赏僧;第三大猛,確定事實(shí)表中每行的數(shù)據(jù)粒度,比如時(shí)間粒度細(xì)化到季度就可以了淀零;第四挽绩,確定分析的度量事件,即數(shù)據(jù)指標(biāo)是什么窑滞。

舉個(gè)例子琼牧,業(yè)務(wù)場(chǎng)景是:一款做連鎖企業(yè)招聘工作的產(chǎn)品,比如為麥當(dāng)勞的所有連鎖門(mén)店招聘員工哀卫,現(xiàn)在要分析“每家門(mén)店的招聘情況如何?”撬槽。結(jié)合具體業(yè)務(wù)此改,我們引入六個(gè)維度:時(shí)間維度、地區(qū)維度侄柔、品牌維度共啃、門(mén)店維度、職位維度暂题、申請(qǐng)渠道移剪;數(shù)據(jù)指標(biāo)上,主要有申請(qǐng)工作人數(shù)薪者、申請(qǐng)工作次數(shù)纵苛、聘用人數(shù)、拒絕人數(shù),每個(gè)指標(biāo)分別有增量值和總量值兩種攻人;數(shù)據(jù)粒度上取试,時(shí)間維度細(xì)分到以小時(shí)為單位,地區(qū)維度細(xì)分到市一級(jí)怀吻。下圖所示便是相應(yīng)的星型模型瞬浓,有三點(diǎn)值得一提:

可以看到我們只建立了四張維度表,地區(qū)維度和渠道維度是直接以字符串的形式放到事實(shí)表中的蓬坡。這是維度設(shè)計(jì)中經(jīng)常遇到的一個(gè)問(wèn)題:如果這個(gè)維度只有一個(gè)屬性猿棉,那么是作為單獨(dú)的一張表還是作為事實(shí)表的一部分?其實(shí)并沒(méi)有完全對(duì)與錯(cuò)的答案屑咳,只有是否適合自己的答案萨赁。這里,城市與渠道的信息并不會(huì)發(fā)生變化乔宿,所以放入事實(shí)表中可以避免聯(lián)合查詢位迂。

建立了統(tǒng)一的時(shí)間維度,可以支持各種時(shí)間統(tǒng)計(jì)方案详瑞,避免在查詢時(shí)進(jìn)行時(shí)間值運(yùn)算掂林。

在品牌維度、門(mén)店維度坝橡、職位維度三張表中泻帮,都有prod_xxxx_id的字段,其值是產(chǎn)品業(yè)務(wù)數(shù)據(jù)庫(kù)中相應(yīng)數(shù)據(jù)的id计寇,作用是為了與業(yè)務(wù)數(shù)據(jù)庫(kù)中的信息進(jìn)行同步锣杂。當(dāng)業(yè)務(wù)數(shù)據(jù)庫(kù)中的相關(guān)信息發(fā)生變化時(shí),會(huì)通過(guò)ETL來(lái)更新數(shù)據(jù)倉(cāng)庫(kù)中的信息番宁,因此我們需要這樣的一個(gè)字段來(lái)進(jìn)行唯一標(biāo)識(shí)元莫。

image

數(shù)倉(cāng)在維度建模層次劃分

經(jīng)過(guò)長(zhǎng)時(shí)間的探索,在物理建模這個(gè)過(guò)程中一般會(huì)進(jìn)行層次劃分蝶押,分別是:基礎(chǔ)事實(shí)踱蠢、輕度匯總層、集市寬表層棋电。

image
  • 基礎(chǔ)事實(shí)層(detail):基礎(chǔ)層的數(shù)據(jù)粒度比較細(xì)茎截,通常與ods層的粒度相似,只是在ods數(shù)據(jù)的基礎(chǔ)上做了清洗赶盔、規(guī)范化和為了方便分析而作的一些整合企锌,有可能需要結(jié)合維度表。

  • 輕度匯總層(aggr):匯總層是根據(jù)各集市的數(shù)據(jù)需求于未,抽象出比較通用的數(shù)據(jù)撕攒,對(duì)明細(xì)層按照一些統(tǒng)計(jì)偏向(例如:口徑陡鹃、業(yè)務(wù)方向)進(jìn)行匯總得到。

  • 集市款表層(topic):集市寬表主要是在輕度匯總層的基礎(chǔ)之上創(chuàng)建打却,由于輕度匯總層的數(shù)據(jù)有所偏向杉适,所以按照這些事實(shí)表的粒度和公共維度,通過(guò)更高等級(jí)的視圖將它們整合起來(lái)

  • 維度表:包括直接從業(yè)務(wù)方同步的維度表柳击、根據(jù)事實(shí)表整理成的維度表以及直接生成的維度表等猿推。

貓眼的數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的發(fā)展史

階段一:

2015年的貓眼初步建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的時(shí)候,以快速滿足業(yè)務(wù)需求為主捌肴,為了盡快達(dá)到數(shù)據(jù)展示效果蹬叭,多數(shù)需求以煙筒式開(kāi)發(fā)為主,針對(duì)每個(gè)需求的特點(diǎn)状知,獨(dú)立開(kāi)發(fā)每個(gè)需求秽五,需求之間沒(méi)有關(guān)聯(lián),沒(méi)有交互饥悴,沒(méi)有復(fù)用坦喘,底層數(shù)據(jù)表結(jié)構(gòu)調(diào)整后,數(shù)據(jù)測(cè)修改的更多西设。運(yùn)維成本出奇的高瓣铣,隨時(shí)時(shí)間的推移,數(shù)據(jù)存在不一致性贷揽。

image

階段二:

針對(duì)階段一的貓眼數(shù)據(jù)倉(cāng)庫(kù)的缺點(diǎn)棠笑,后期升級(jí)貓眼離線數(shù)據(jù)倉(cāng)庫(kù),針對(duì)一的缺點(diǎn)禽绪,我們發(fā)現(xiàn)需求方多來(lái)自同一個(gè)業(yè)務(wù)蓖救,比如選座,折扣卡印屁,券碼等產(chǎn)品或者運(yùn)營(yíng)循捺。

我們按照業(yè)務(wù)方的特點(diǎn),建設(shè)以業(yè)務(wù)為主題的數(shù)據(jù)倉(cāng)庫(kù)模型雄人,改變同一業(yè)務(wù)無(wú)法復(fù)用數(shù)據(jù)巨柒,改變同一業(yè)務(wù)數(shù)據(jù)一致性的

image

階段三

面向模型開(kāi)發(fā),針對(duì)不同業(yè)務(wù)柠衍,怎么解決同名同義性列牺,異名異議性妻往,以及如何解決數(shù)據(jù)孤島的問(wèn)題,我們提出用模型解決赞弥,前期我們將從訂單模型正罢,UGC模型阵漏,以及支付模型,財(cái)務(wù)模型出發(fā),統(tǒng)一同源數(shù)據(jù)履怯,統(tǒng)一公司口徑回还,統(tǒng)一數(shù)據(jù)生成出口

image

三階段對(duì)比效果

image
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市叹洲,隨后出現(xiàn)的幾起案子柠硕,更是在濱河造成了極大的恐慌,老刑警劉巖运提,帶你破解...
    沈念sama閱讀 218,858評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蝗柔,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡民泵,警方通過(guò)查閱死者的電腦和手機(jī)癣丧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,372評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)栈妆,“玉大人胁编,你說(shuō)我怎么就攤上這事×鄱” “怎么了嬉橙?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,282評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)铅檩。 經(jīng)常有香客問(wèn)我憎夷,道長(zhǎng),這世上最難降的妖魔是什么昧旨? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,842評(píng)論 1 295
  • 正文 為了忘掉前任拾给,我火速辦了婚禮,結(jié)果婚禮上兔沃,老公的妹妹穿的比我還像新娘蒋得。我一直安慰自己,他們只是感情好乒疏,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,857評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布额衙。 她就那樣靜靜地躺著,像睡著了一般怕吴。 火紅的嫁衣襯著肌膚如雪窍侧。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,679評(píng)論 1 305
  • 那天转绷,我揣著相機(jī)與錄音伟件,去河邊找鬼。 笑死议经,一個(gè)胖子當(dāng)著我的面吹牛斧账,可吹牛的內(nèi)容都是我干的谴返。 我是一名探鬼主播,決...
    沈念sama閱讀 40,406評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼咧织,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼嗓袱!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起习绢,我...
    開(kāi)封第一講書(shū)人閱讀 39,311評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤渠抹,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后毯炮,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體逼肯,經(jīng)...
    沈念sama閱讀 45,767評(píng)論 1 315
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,945評(píng)論 3 336
  • 正文 我和宋清朗相戀三年桃煎,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了篮幢。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,090評(píng)論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡为迈,死狀恐怖三椿,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情葫辐,我是刑警寧澤搜锰,帶...
    沈念sama閱讀 35,785評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站耿战,受9級(jí)特大地震影響蛋叼,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜剂陡,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,420評(píng)論 3 331
  • 文/蒙蒙 一狈涮、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧鸭栖,春花似錦歌馍、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,988評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至溅话,卻和暖如春晓锻,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背飞几。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,101評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工带射, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人循狰。 一個(gè)月前我還...
    沈念sama閱讀 48,298評(píng)論 3 372
  • 正文 我出身青樓窟社,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親绪钥。 傳聞我的和親對(duì)象是個(gè)殘疾皇子灿里,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,033評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容