為什么要數(shù)據(jù)倉(cāng)庫(kù)建模呢礁蔗？
如果把數(shù)據(jù)看作圖書館里的書突硝，我們希望看到它們?cè)跁苌戏珠T別類地放置螃宙；如果把數(shù)據(jù)看作城市的建筑蛮瞄，我們希望城市規(guī)劃布局合理；如果把數(shù)據(jù)看作電腦文件和文件夾谆扎，我們希望按照自己的習(xí)慣有很好的文件夾組織方式裕坊，而不是糟糕混亂的桌面，經(jīng)常為找一個(gè)文件而不知所措燕酷。
數(shù)據(jù)模型就是數(shù)據(jù)組織和存儲(chǔ)方法，它強(qiáng)調(diào)從業(yè)務(wù)周瞎、數(shù)據(jù)存取和使用角度合理存儲(chǔ)數(shù)據(jù)苗缩。Linux的創(chuàng)始人Torvalds有一段關(guān)于“什么才是優(yōu)秀程序員”的話：“爛程序員關(guān)心的是代碼，好程序員關(guān)心的是數(shù)據(jù)結(jié)構(gòu)和它們之間的關(guān)系”声诸，最能夠說(shuō)明數(shù)據(jù)模型的重要性酱讶。只有數(shù)據(jù)模型將數(shù)據(jù)有序的組織和存儲(chǔ)起來(lái)之后，大數(shù)據(jù)才能得到高性能彼乌、低成本泻肯、高效率、高質(zhì)量的使用慰照，一般可以從四個(gè)方面概括數(shù)據(jù)倉(cāng)庫(kù)模型的價(jià)值：
性能：良好的數(shù)據(jù)模型能幫助我們快速查詢所需要的數(shù)據(jù)灶挟，減少數(shù)據(jù)的I/O吞吐，提高使用數(shù)據(jù)的效毒租。
成本：良好的數(shù)據(jù)模型能極大地減少不必要的數(shù)據(jù)冗余稚铣，也能實(shí)現(xiàn)計(jì)算結(jié)果復(fù)用，極大地降低存儲(chǔ)和計(jì)算成本墅垮。
效率：良好的數(shù)據(jù)模型在業(yè)務(wù)或系統(tǒng)發(fā)生變化時(shí)惕医，可以保持穩(wěn)定或很容易地實(shí)現(xiàn)擴(kuò)展，提高數(shù)據(jù)穩(wěn)定性和連續(xù)性
質(zhì)量：良好的數(shù)據(jù)模型能改善數(shù)據(jù)統(tǒng)計(jì)口徑的不一致性算色，減少數(shù)據(jù)計(jì)算錯(cuò)誤的可能性抬伺。
那么，數(shù)據(jù)倉(cāng)庫(kù)一般為什么要分層設(shè)計(jì)呢灾梦？
以下是一個(gè)示例：
分層設(shè)計(jì)的好處大致可以概括如下：
清晰數(shù)據(jù)結(jié)構(gòu)：每一個(gè)數(shù)據(jù)分層都有它的作用域峡钓，這樣我們?cè)谑褂帽淼臅r(shí)候能更方便地定位和理解妓笙。
數(shù)據(jù)血緣追蹤：能夠快速準(zhǔn)確地定位到問(wèn)題，并清楚它的危害范圍椒楣。
減少重復(fù)開發(fā)：規(guī)范數(shù)據(jù)分層给郊，開發(fā)一些通用的中間層數(shù)據(jù)，能夠減少極大的重復(fù)計(jì)算捧灰。
把復(fù)雜問(wèn)題簡(jiǎn)單化：將復(fù)雜的任務(wù)分解成多個(gè)步驟來(lái)完成淆九，每一層只處理單一的步驟，比較簡(jiǎn)單和容易理解毛俏。當(dāng)數(shù)據(jù)出現(xiàn)問(wèn)題之后炭庙，不用修復(fù)所有的數(shù)據(jù)，只需要從有問(wèn)題的步驟開始修復(fù)
屏蔽原始數(shù)據(jù)的異常：不必改一次業(yè)務(wù)就需要重新接入數(shù)據(jù)煌寇。
知道了數(shù)據(jù)倉(cāng)庫(kù)的好處焕蹄，很多行業(yè)和企業(yè)也都經(jīng)歷了數(shù)據(jù)倉(cāng)庫(kù)建模，但如果問(wèn)哪家數(shù)據(jù)模型建得好阀溶，各行業(yè)各企業(yè)就很難分出個(gè)高下了腻脏。
但這個(gè)問(wèn)題又很重要，因?yàn)橛袠?biāo)桿認(rèn)識(shí)到差距才能進(jìn)步银锻，有伙伴邀筆者去講講數(shù)據(jù)建模永品，說(shuō)實(shí)話，筆者也不知道怎么講击纬，因?yàn)檫@個(gè)跟企業(yè)自己的業(yè)務(wù)和數(shù)據(jù)太相關(guān)了鼎姐，所謂的業(yè)界的標(biāo)準(zhǔn)建模理論和方法也變得無(wú)足輕重。
大神Inmon的《數(shù)據(jù)倉(cāng)庫(kù)》和kimball《數(shù)據(jù)倉(cāng)庫(kù)工具箱》算是兩個(gè)經(jīng)典吧更振，最近出了本很厚的《數(shù)據(jù)倉(cāng)庫(kù)與商業(yè)智能寶典》炕桨，但也是人家kimball以前經(jīng)典文章的合集。
關(guān)系建模又叫ER建模肯腕，是數(shù)據(jù)倉(cāng)庫(kù)之父Inmon推崇的献宫，其從全企業(yè)的高度設(shè)計(jì)一個(gè)3NF模型的方法，用實(shí)體加關(guān)系描述的數(shù)據(jù)模型描述企業(yè)業(yè)務(wù)架構(gòu)乎芳，在范式理論上符合3NF遵蚜，其是站在企業(yè)角度進(jìn)行面向主題的抽象，而不是針對(duì)某個(gè)具體業(yè)務(wù)流程的奈惑，它更多是面向數(shù)據(jù)的整合和一致性治理吭净，正如Inmon所希望達(dá)到的“single version of the truth”。
維度模型則是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域另一位大師Ralph Kimball 所倡導(dǎo)的肴甸。維度建模以分析決策的需求為出發(fā)點(diǎn)構(gòu)建模型寂殉，一般有較好的大規(guī)模復(fù)雜查詢的響應(yīng)性能，更直接面向業(yè)務(wù)原在，典型的代表是我們比較熟知的星形模型友扰，以及在一些特殊場(chǎng)景下適用的雪花模型彤叉。
Inmon的ER建模優(yōu)點(diǎn)體現(xiàn)在規(guī)范性較好，冗余小村怪，數(shù)據(jù)集成和數(shù)據(jù)一致性方面得到重視秽浇，適用于較為大型的企業(yè)級(jí)、戰(zhàn)略級(jí)的規(guī)劃甚负，但缺點(diǎn)是需要全面了解企業(yè)業(yè)務(wù)柬焕、數(shù)據(jù)和關(guān)系，對(duì)于建模人員要求很高梭域，實(shí)施周期非常長(zhǎng)斑举，成本昂貴，筆者剛進(jìn)公司的時(shí)候就經(jīng)歷了中國(guó)移動(dòng)的的ER數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目病涨，的確不是一個(gè)新人能短時(shí)消化的富玷。
Kimball的維度建模相對(duì)能快速上手，快速交付既穆，但缺點(diǎn)是冗余會(huì)較多赎懦，靈活性比較差，但其實(shí)現(xiàn)在看來(lái)也沒什么幻工，淘寶在大數(shù)據(jù)之路書中也提到“淘寶數(shù)據(jù)平臺(tái)變遷的過(guò)程正好解釋了二者的不同铲敛，最初，淘寶業(yè)務(wù)單一会钝、系統(tǒng)簡(jiǎn)單，主要是簡(jiǎn)單的報(bào)表系統(tǒng)工三；后期數(shù)據(jù)量越來(lái)越大迁酸，系統(tǒng)越來(lái)越多，嘗試用ER建模的數(shù)據(jù)倉(cāng)庫(kù)俭正，但是在實(shí)踐中發(fā)現(xiàn)快速變化的業(yè)務(wù)之下奸鬓，構(gòu)建ER模型的風(fēng)險(xiǎn)和難度都很高，現(xiàn)在則主要采用基于維度建模的模型方法了掸读〈叮”
但I(xiàn)nmon和kimball關(guān)于關(guān)系建模和維度建模的爭(zhēng)論其實(shí)也沒什么值得探討的，沒有誰(shuí)更好儿惫，在企業(yè)內(nèi)澡罚，這兩種建模方式往往同時(shí)存在，底層用關(guān)系建模合適一點(diǎn)肾请，技術(shù)的優(yōu)雅換來(lái)了數(shù)據(jù)的精簡(jiǎn)留搔，往上維度建模更合適一些，靠數(shù)據(jù)的冗余帶來(lái)了可用性铛铁，優(yōu)勢(shì)互補(bǔ)隔显，都說(shuō)關(guān)系建模不易却妨，概念模型是個(gè)坎，其實(shí)維度建模也不易括眠，維度的梳理和運(yùn)營(yíng)是艱巨的彪标，否則就是爛攤子的活。
在數(shù)據(jù)建模上掷豺，很多人糾結(jié)于如何建模捞烟，用關(guān)系建模、維度建模亦或其它萌业？回過(guò)頭來(lái)也是浮云坷襟，其實(shí)剛起步的時(shí)候沒有那么多的循規(guī)蹈矩，滿足報(bào)表和取數(shù)的需求即可生年，盡量做到“高內(nèi)聚婴程，松耦合”，這是服務(wù)的原則抱婉，放到數(shù)據(jù)建模照樣適用档叔。
很多企業(yè)花了巨大的代價(jià)建設(shè)了一套數(shù)據(jù)模型，周期長(zhǎng)達(dá)1-2年蒸绩，幾年后卻推倒重來(lái)衙四，問(wèn)題的根子不在于當(dāng)初的項(xiàng)目完成的情況如何，包括建模方式是否合理患亿，而在于項(xiàng)目完成了成鳥獸散传蹈，缺乏持續(xù)的運(yùn)營(yíng)。
想想企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)模型步藕，有多大的比例在日常的運(yùn)營(yíng)中進(jìn)行了改進(jìn)呢惦界，有10%嗎？阿里在建設(shè)數(shù)據(jù)中臺(tái)咙冗，很大的挑戰(zhàn)在于日常運(yùn)營(yíng)中對(duì)于中臺(tái)業(yè)務(wù)的把控能力和持續(xù)改進(jìn)的勇氣沾歪，數(shù)據(jù)模型要成為使能者，不是簡(jiǎn)單的滿足需求雾消，也不是為了博得業(yè)務(wù)人員一時(shí)的滿意灾搏，而是要立足于長(zhǎng)遠(yuǎn)，始終主動(dòng)立润、自發(fā)和持續(xù)的自我進(jìn)化狂窑。
前段時(shí)間團(tuán)隊(duì)成員說(shuō)為了滿足數(shù)據(jù)挖掘需求要做一張超級(jí)寬表，很能說(shuō)明問(wèn)題桑腮，任何一個(gè)企業(yè)的數(shù)據(jù)模型都會(huì)碰到類似的挑戰(zhàn)蕾域，但這也是混亂的開始，以下是經(jīng)典的對(duì)話：
A：“現(xiàn)在數(shù)據(jù)挖掘變量準(zhǔn)備太慢了，要搞一張大寬表旨巷，我們已經(jīng)梳理了巨缘，需要從幾十張表中取出字段，這個(gè)是這些表的清單采呐？”
B：“跨度這么大若锁，這么多字段，從DWD到DWI斧吐，再到DWA又固，有想過(guò)更好的辦法嗎？”
A：“這個(gè)煤率？我們看了仰冠，融合模型缺這缺那的，還是再做一張吧蝶糯，只是為這類數(shù)據(jù)做的洋只！”
B：“你這張寬表下次會(huì)碰到融合模型同樣的問(wèn)題，融合模型是當(dāng)前平衡做的相對(duì)好的昼捍，能否去增強(qiáng)融合模型识虚，按字段歸屬到各融合模型，而不要另起條線妒茬，資源也有限的担锤，讓這些表的融合模型負(fù)責(zé)人過(guò)來(lái)討論下？”
數(shù)據(jù)倉(cāng)庫(kù)模型的持續(xù)提升始終來(lái)自于日常樸實(shí)無(wú)華的需求驅(qū)動(dòng)乍钻，數(shù)據(jù)中臺(tái)蘊(yùn)含著企業(yè)數(shù)據(jù)文化的再造肛循，涉及到一系列機(jī)制流程的完善，認(rèn)識(shí)到這點(diǎn)很重要银择。
微信公眾號(hào)：與數(shù)據(jù)同行（ysjtx_fyp）? 微信號(hào)：fuyipingmnb? 歡迎交流育拨！
