整體結(jié)構(gòu)
在具體分析數(shù)據(jù)倉庫之前先看下一下數(shù)據(jù)中心的整體架構(gòu)以及數(shù)據(jù)流向
- DB 是現(xiàn)有的數(shù)據(jù)來源赫蛇，可以為mysql、SQLserver雾叭、文件日志等悟耘，為數(shù)據(jù)倉庫提供數(shù)據(jù)來源的一般存在于現(xiàn)有的業(yè)務(wù)系統(tǒng)之中。
- ETL的是 Extract-Transform-Load 的縮寫织狐，用來描述將數(shù)據(jù)從來源遷移到目標(biāo)的幾個(gè)過程：
- Extract暂幼，數(shù)據(jù)抽取，也就是把數(shù)據(jù)從數(shù)據(jù)源讀出來移迫。
- Transform旺嬉，數(shù)據(jù)轉(zhuǎn)換，把原始數(shù)據(jù)轉(zhuǎn)換成期望的格式和維度厨埋。如果用在數(shù)據(jù)倉庫的場(chǎng)景下邪媳，Transform也包含數(shù)據(jù)清洗，清洗掉噪音數(shù)據(jù)。
- Load 數(shù)據(jù)加載雨效，把處理后的數(shù)據(jù)加載到目標(biāo)處迅涮，比如數(shù)據(jù)倉庫。
- ODS(Operational Data Store) 操作性數(shù)據(jù)徽龟，是作為數(shù)據(jù)庫到數(shù)據(jù)倉庫的一種過渡叮姑，ODS的數(shù)據(jù)結(jié)構(gòu)一般與數(shù)據(jù)來源保持一致，便于減少ETL的工作復(fù)雜性据悔，而且ODS的數(shù)據(jù)周期一般比較短传透。ODS的數(shù)據(jù)最終流入DW
+DW (Data Warehouse)數(shù)據(jù)倉庫，是數(shù)據(jù)的歸宿极颓，這里保持這所有的從ODS到來的數(shù)據(jù)旷祸，并長(zhǎng)期報(bào)錯(cuò)，而且這些數(shù)據(jù)不會(huì)被修改讼昆。 - DM(Data Mart) 數(shù)據(jù)集市,為了特定的應(yīng)用目的或應(yīng)用范圍托享，而從數(shù)據(jù)倉庫中獨(dú)立出來的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)浸赫。面向應(yīng)用闰围。
數(shù)據(jù)倉庫
數(shù)據(jù)倉庫(Data Warehouse) 簡(jiǎn)稱DW，顧名思義既峡，數(shù)據(jù)倉庫是一個(gè)很大的數(shù)據(jù)存儲(chǔ)集合羡榴，出于企業(yè)的分析性報(bào)告和決策支持目的而創(chuàng)建，對(duì)多樣的業(yè)務(wù)數(shù)據(jù)進(jìn)行篩選與整合运敢。它為企業(yè)提供一定的BI（商業(yè)智能）能力校仑，指導(dǎo)業(yè)務(wù)流程改進(jìn)、監(jiān)視時(shí)間传惠、成本迄沫、質(zhì)量以及控制。
數(shù)據(jù)倉庫存儲(chǔ)是一個(gè)面向主題（移動(dòng)的用戶分析也可做為一個(gè)主題）的卦方，反映歷史變化數(shù)據(jù)羊瘩，用于支撐管理決策。
特征：
- 效率足夠高盼砍，要對(duì)進(jìn)入的數(shù)據(jù)快速處理尘吗。
- 數(shù)據(jù)質(zhì)量高，數(shù)據(jù)倉庫是提供很多決策需要的數(shù)據(jù)支撐浇坐，DW的數(shù)據(jù)應(yīng)該是唯一的具有權(quán)威性的數(shù)據(jù)睬捶，企業(yè)的所有系統(tǒng)只能從DW取數(shù)據(jù)，所以需要定期對(duì)DW里面的數(shù)據(jù)進(jìn)行質(zhì)量審近刘，保證DW里邊數(shù)據(jù)的唯一武鲁、權(quán)威、準(zhǔn)確性剔氏。
- 擴(kuò)展性，企業(yè)業(yè)務(wù)擴(kuò)展和降低企業(yè)建設(shè)數(shù)據(jù)倉庫的成本考慮
- 面向主題积仗，數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織的疆拘，每一個(gè)主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域蜕猫，數(shù)據(jù)倉庫排除對(duì)決策無用的數(shù)據(jù)，提供特定主題的簡(jiǎn)明視圖哎迄。
- 數(shù)據(jù)倉庫主要提供查詢服務(wù)回右，并且需要查詢能夠及時(shí)響應(yīng)
- DW的數(shù)據(jù)也是只允許增加不允許刪除和修改，數(shù)據(jù)倉庫主要是提供查詢服務(wù)漱挚，刪除和修改在分布式系統(tǒng).
操作性數(shù)據(jù)
操作性數(shù)據(jù)(Operational Data Store) 簡(jiǎn)稱ODS翔烁，作為數(shù)據(jù)庫到數(shù)據(jù)倉庫的一種過渡形式，與數(shù)據(jù)倉庫在物理結(jié)構(gòu)上不同旨涝。ODS存儲(chǔ)的是當(dāng)前的數(shù)據(jù)情況蹬屹，給使用者提供當(dāng)前的狀態(tài)，提供即時(shí)性的白华、操作性的慨默、集成的全體信息的需求。ODS作為數(shù)據(jù)庫到數(shù)據(jù)倉庫的一種過渡形式弧腥，能提供高性能的響應(yīng)時(shí)間厦取，ODS設(shè)計(jì)采用混合設(shè)計(jì)方式。ODS中的數(shù)據(jù)是"實(shí)時(shí)值"管搪，而數(shù)據(jù)倉庫的數(shù)據(jù)卻是"歷史值"虾攻，一般ODS中儲(chǔ)存的數(shù)據(jù)不超過一個(gè)月，而數(shù)據(jù)倉庫為10年或更多更鲁。
特征：
- ODS直接存放從業(yè)務(wù)抽取過來的數(shù)據(jù)霎箍，這些數(shù)據(jù)從結(jié)構(gòu)和數(shù)據(jù)上與業(yè)務(wù)系統(tǒng)保持一致，降低了數(shù)據(jù)抽取的復(fù)雜性澡为。
- 轉(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)的細(xì)節(jié)查詢功能朋沮，因?yàn)镺DS存放的數(shù)據(jù)與業(yè)務(wù)系統(tǒng)相同，原來有業(yè)務(wù)系統(tǒng)產(chǎn)生的報(bào)表缀壤，現(xiàn)在可以從ODS中產(chǎn)生樊拓。
- 完成數(shù)據(jù)倉庫中不能完成的功能，ODS存放的是明細(xì)數(shù)據(jù)塘慕，數(shù)據(jù)倉庫DW或數(shù)據(jù)集市DM都存放的是匯聚數(shù)據(jù)筋夏，ODS提供查詢明細(xì)的功能。
- ODS數(shù)據(jù)只能增加不能修改图呢，而且數(shù)據(jù)都是業(yè)務(wù)系統(tǒng)原樣拷貝条篷，所以可能存在數(shù)據(jù)沖突的可能骗随，解決辦法是為每一條數(shù)據(jù)增加一個(gè)時(shí)間版本來區(qū)分相同的數(shù)據(jù)。
數(shù)據(jù)集市
數(shù)據(jù)集市(Data Mart)簡(jiǎn)稱DM赴叹，是為了特定的應(yīng)用目的或應(yīng)用范圍鸿染，而從數(shù)據(jù)倉庫中獨(dú)立出來的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)（subjectarea）乞巧。在數(shù)據(jù)倉庫的實(shí)施過程中往往可以從一個(gè)部門的數(shù)據(jù)集市著手涨椒，以后再用幾個(gè)數(shù)據(jù)集市組成一個(gè)完整的數(shù)據(jù)倉庫。需要注意的就是在實(shí)施不同的數(shù)據(jù)集市時(shí)绽媒，同一含義的字段定義一定要相容蚕冬，這樣再以后實(shí)施數(shù)據(jù)倉庫時(shí)才不會(huì)造成大麻煩。
數(shù)據(jù)集市是辕，以某個(gè)業(yè)務(wù)應(yīng)用為出發(fā)點(diǎn)而建設(shè)的局部DW,DW只關(guān)心自己需要的數(shù)據(jù)囤热，不會(huì)全盤考慮企業(yè)整體的數(shù)據(jù)架構(gòu)和應(yīng)用，每個(gè)應(yīng)用有自己的DM
特征：
- DM結(jié)構(gòu)清洗获三，針對(duì)性強(qiáng)旁蔼，擴(kuò)展性好，因?yàn)镈M僅僅是單對(duì)一個(gè)領(lǐng)域而建立疙教，容易維護(hù)修改
- DM建設(shè)任務(wù)繁重棺聊，公司有眾多業(yè)務(wù)，每個(gè)業(yè)務(wù)單獨(dú)建立表松逊。
- DM的建立更多的消耗存儲(chǔ)空間躺屁，單獨(dú)一個(gè)DM可能數(shù)據(jù)量不大，但是企業(yè)所有領(lǐng)域都建立DM這個(gè)數(shù)據(jù)量就會(huì)增加多倍经宏。
