第1章 數(shù)據(jù)倉庫簡介
1.1 什么是數(shù)據(jù)倉庫
Inmon將數(shù)據(jù)倉庫描述為一個面向主題的、集成的、隨時間變化的、非易失的數(shù)據(jù)集合子眶，用于支持管理者的決策過程。
1.3 數(shù)據(jù)倉庫架構(gòu)
1.3.2 主要數(shù)據(jù)倉庫架構(gòu)
在數(shù)據(jù)倉庫技術(shù)演化過程中序芦，產(chǎn)生了幾種主要的架構(gòu)方法臭杰，包括數(shù)據(jù)集市架構(gòu)、Inmon企業(yè)信息工廠架構(gòu)谚中、Kimball數(shù)據(jù)倉庫架構(gòu)和混合型數(shù)據(jù)倉庫架構(gòu)渴杆。
1. 數(shù)據(jù)集市架構(gòu)
數(shù)據(jù)集市是按主題域組織的數(shù)據(jù)集合，用于支持部門級的決策宪塔。有兩種類型的數(shù)據(jù)集市：獨立數(shù)據(jù)集市和從屬數(shù)據(jù)集市磁奖。
獨立數(shù)據(jù)集市集中于部門所關(guān)心的單一主題域，數(shù)據(jù)以部門為基礎(chǔ)部署某筐，無須考慮企業(yè)級別的信息共享與集成比搭。例如，制造部門南誊、人力資源部門和其他部門都各自有他們自己的數(shù)據(jù)集市身诺。獨立數(shù)據(jù)集市從一個主題域或一個部門的多個事務(wù)系統(tǒng)獲取數(shù)據(jù)，用以支持特定部門的業(yè)務(wù)分析需要抄囚。一個獨立數(shù)據(jù)集市的設(shè)計既可以使用實體關(guān)系模型霉赡，也可以使用多維模型。數(shù)據(jù)分析或商業(yè)智能工具直接從數(shù)據(jù)集市查詢數(shù)據(jù)怠苔，并將查詢結(jié)果顯示給用戶同廉。一個典型的獨立數(shù)據(jù)集市架構(gòu)如圖1-2所示仪糖。
另外一種數(shù)據(jù)集市是從屬數(shù)據(jù)集市柑司。如Bill Inmon所說迫肖，從屬數(shù)據(jù)集市的數(shù)據(jù)來源于數(shù)據(jù)倉庫。數(shù)據(jù)倉庫里的數(shù)據(jù)經(jīng)過整合攒驰、重構(gòu)蟆湖、匯總后傳遞給從屬數(shù)據(jù)集市。從屬數(shù)據(jù)集市的架構(gòu)如圖1-3所示玻粪。
2. Inmon企業(yè)信息工廠架構(gòu)(CIF)
● 企業(yè)級數(shù)據(jù)倉庫：是該架構(gòu)中的核心組件隅津。正如Inmon數(shù)據(jù)倉庫所定義的，企業(yè)級數(shù)據(jù)倉庫是一個細節(jié)數(shù)據(jù)的集成資源庫劲室。其中的數(shù)據(jù)以最低粒度級別被捕獲伦仍，存儲在滿足三范式設(shè)計的關(guān)系數(shù)據(jù)庫中。
三范式定義
(1) 第一范式(1NF)
數(shù)據(jù)庫表中的字段都是單一屬性的很洋，不可再分充蓝。這個單一屬性由基本類型構(gòu)成，包括整型喉磁、實數(shù)谓苟、字符型、邏輯型协怒、日期型等涝焙。
例如，電話的字段就可能不符合第一正規(guī)化孕暇，因為每個人可能有一個以上的電話需要記錄仑撞，這時最簡單的做法就是將字段增加，不要用電話當(dāng)字段名稱妖滔，用家里電話派草、手機、辦公室電話铛楣、分機號碼近迁、宿舍電話等。
(2) 第二范式(2NF)
規(guī)則是符合第一范式簸州，而且沒有部分主鍵功能決定其他屬性的現(xiàn)象鉴竭，也就是主鍵之外的其他屬性都完全的功能相依于主鍵。
假定選課關(guān)系表為SelectCourse(學(xué)號岸浑，姓名搏存，年齡，課程名稱矢洲，成績璧眠，學(xué)分)，關(guān)鍵字為組合關(guān)鍵字(學(xué)號，課程名稱)责静，因為存在如下決定關(guān)系：(學(xué)號袁滥，課程名稱)→(姓名，年齡灾螃，成績题翻，學(xué)分)。
這個數(shù)據(jù)庫表不滿足第二范式腰鬼，因為存在如下決定關(guān)系：
(課程名稱)→(學(xué)分)嵌赠，即知道課程，就可以知道該課程的學(xué)分熄赡。
(學(xué)號)→(姓名姜挺，年齡)，即知道了學(xué)號彼硫，就可以知道該學(xué)生的姓名和年齡初家。
① 數(shù)據(jù)冗余
同一門課程由n個學(xué)生選修，“學(xué)分”就重復(fù)n?1次乌助；同一個學(xué)生選修了m門課程溜在，姓名和年齡就重復(fù)了m?1次。
② 更新異常
若調(diào)整了某門課程的學(xué)分他托，數(shù)據(jù)表中所有行的“學(xué)分”值都要更新掖肋，否則會出現(xiàn)同一門課程學(xué)分不同的情況。
③ 插入異常
假設(shè)要開設(shè)一門新的課程赏参，暫時還沒有人選修志笼。這樣，由于還沒有“學(xué)號”關(guān)鍵字把篓，課程名稱和學(xué)分也無法記錄入數(shù)據(jù)庫纫溃。
④ 刪除異常
假設(shè)一批學(xué)生已經(jīng)完成課程的選修，這些選修記錄就應(yīng)該從數(shù)據(jù)庫表中刪除韧掩。但是紊浩，與此同時，課程名稱和學(xué)分信息也被刪除了疗锐。很顯然坊谁，這也會導(dǎo)致插入異常。
把選課關(guān)系表SelectCourse改為如下三個表滑臊。
學(xué)生：Student(學(xué)號口芍，姓名，年齡)
課程：Course(課程名稱雇卷，學(xué)分)
選課關(guān)系：SelectCourse(學(xué)號鬓椭，課程名稱颠猴，成績)
這樣的數(shù)據(jù)庫表是符合第二范式的，消除了數(shù)據(jù)冗余小染、更新異常翘瓮、插入異常和刪除異常。
(3) 第三范式(3NF)
在第二范式的基礎(chǔ)上氧映，數(shù)據(jù)表中如果不存在非關(guān)鍵字段對任一候選關(guān)鍵字段的傳遞函數(shù)依賴則符合第三范式。
所謂傳遞函數(shù)依賴脱货，指的是如果存在“A→B→C”的決定關(guān)系岛都，則C傳遞函數(shù)依賴于A。因此振峻，滿足第三范式的數(shù)據(jù)庫表應(yīng)該不存在如下依賴關(guān)系：關(guān)鍵字段→非關(guān)鍵字段x→非關(guān)鍵字段y臼疫。
假定學(xué)生關(guān)系表為Student(學(xué)號，姓名扣孟，年齡烫堤，所在學(xué)院，學(xué)院地點凤价，學(xué)院電話)鸽斟，關(guān)鍵字為單一關(guān)鍵字“學(xué)號”，因為存在如下決定關(guān)系：
(學(xué)號)→(姓名利诺，年齡富蓄，所在學(xué)院，學(xué)院地點慢逾，學(xué)院電話)
這個數(shù)據(jù)庫是符合2NF的立倍，但是不符合3NF，因為存在如下決定關(guān)系：
(學(xué)號)→(所在學(xué)院)→(學(xué)院地點侣滩，學(xué)院電話)
把學(xué)生關(guān)系表分為如下兩個表口注。
學(xué)生：(學(xué)號，姓名君珠，年齡寝志，所在學(xué)院)；
學(xué)院：(學(xué)院策添，地點澈段，電話)。
(4) BCNF范式
BCNF范式(Boyce/Codd Normal Form)舰攒，是由R.F.Boycy和E.F. Codd共同提出的败富，可以算成是第三正則化的補充，規(guī)則是符合第三正則化原則摩窃，并且沒有非主鍵屬性可以功能性決定部分主鍵的現(xiàn)象兽叮。
假設(shè)有一個表R芬骄，其中的屬性有A，B鹦聪，C账阻，D又活，E硫嘶，以A和B為復(fù)合主鍵，R={A辈灼，B规丽，C蒲牧，D，E}赌莺，如果存在有非主鍵屬性冰抢，比如說C可以功能性決定B，C→B艘狭，而B是主鍵的一部分挎扰，這時第三正則化是沒有辦法分辨出來這種錯誤的，所以有BCNF正則化規(guī)則來把關(guān)巢音，同樣地遵倦，BCNF正則化的方法也是將原來的表拆開，成立一個新的關(guān)聯(lián)表R1來裝C→B官撼，R1={C骇吭，B}，但原來的表R還是以(A歧寺，B)為復(fù)合主鍵燥狰，以B為外鍵關(guān)聯(lián)到新的表去，以保留原有的信息斜筐。
R={A,B,D,E}龙致，R1={C,B}，R.B=R1.B
3. Kimball數(shù)據(jù)倉庫架構(gòu)
Kimball數(shù)據(jù)倉庫架構(gòu)如圖1-5所示顷链。
對比上一張圖可以看到目代，Kimball與Inmon兩種架構(gòu)的主要區(qū)別在于核心數(shù)據(jù)倉庫的設(shè)計和建立。Kimball的數(shù)據(jù)倉庫包含高粒度的企業(yè)數(shù)據(jù)嗤练，使用多維模型設(shè)計榛了，這也意味著數(shù)據(jù)倉庫由星型模式的維度表和事實表構(gòu)成。分析系統(tǒng)或報表工具可以直接訪問多維數(shù)據(jù)倉庫里的數(shù)據(jù)煞抬。在此架構(gòu)中的數(shù)據(jù)集市也與Inmon中的不同霜大。這里的數(shù)據(jù)集市是一個邏輯概念，只是多維數(shù)據(jù)倉庫中的主題域劃分革答，并沒有自己的物理存儲战坤，也可以說是虛擬的數(shù)據(jù)集市曙强。
4．混合型數(shù)據(jù)倉庫架構(gòu)
混合型數(shù)據(jù)倉庫架構(gòu)如圖1-6所示。
所謂的混合型結(jié)構(gòu)途茫，指的是在一個數(shù)據(jù)倉庫環(huán)境中碟嘴，聯(lián)合使用Inmon和Kimball兩種架構(gòu)。從架構(gòu)圖可以看到囊卜，這種架構(gòu)將Inmon方法中的數(shù)據(jù)集市部分替換成了一個多維數(shù)據(jù)倉庫娜扇，而數(shù)據(jù)集市則是多維數(shù)據(jù)倉庫上的邏輯視圖。使用這種架構(gòu)的好處是栅组，既可以利用規(guī)范化設(shè)計消除數(shù)據(jù)冗余雀瓢，保證數(shù)據(jù)的粒度足夠細；又可以利用多維結(jié)構(gòu)更靈活地在企業(yè)級實現(xiàn)報表和分析笑窜。
1.3.3 操作數(shù)據(jù)存儲
操作數(shù)據(jù)存儲又稱為ODS致燥，是Operational Data Store的簡寫登疗，其定義是這樣的：一個面向主題的排截、集成的、可變的辐益、當(dāng)前的細節(jié)數(shù)據(jù)集合断傲，用于支持企業(yè)對于即時性的、操作性的智政、集成的全體信息的需求认罩。
對比1.1節(jié)中數(shù)據(jù)倉庫的定義不難看出，操作型數(shù)據(jù)存儲在某些方面具有類似于數(shù)據(jù)倉庫的特點续捂，但在另一些方面又顯著不同于數(shù)據(jù)倉庫垦垂。
● 像數(shù)據(jù)倉庫一樣，是面向主題的牙瓢。
● 像數(shù)據(jù)倉庫一樣劫拗，其數(shù)據(jù)是完全集成的。
● 數(shù)據(jù)是當(dāng)前的矾克，這與數(shù)據(jù)倉庫存儲歷史數(shù)據(jù)的性質(zhì)明顯不同页慷。ODS具有最少的歷史數(shù)據(jù)（一般是30天到60天），而盡可能接近實時地展示數(shù)據(jù)的狀態(tài)胁附。
● 數(shù)據(jù)是可更新的酒繁，這是與靜態(tài)數(shù)據(jù)倉庫又一個很大的區(qū)別。ODS就如同一個事務(wù)處理系統(tǒng)控妻，當(dāng)新的數(shù)據(jù)流進ODS時州袒，受其影響的字段被新信息覆蓋。
● 數(shù)據(jù)幾乎完全是細節(jié)數(shù)據(jù)弓候，僅具有少量的動態(tài)聚集或匯總數(shù)據(jù)稳析。通常將ODS設(shè)計成包含事務(wù)級的數(shù)據(jù)洗做，即包含該主題域中最低粒度級別的數(shù)據(jù)。
● 在數(shù)據(jù)倉庫中彰居，幾乎沒有針對其本身的報表诚纸，報表均放到數(shù)據(jù)集市中完成；與此不同陈惰，在ODS中畦徘，業(yè)務(wù)用戶頻繁地直接訪問ODS。
1.4 抽取-轉(zhuǎn)換-裝載
前面已經(jīng)多次提到了ETL一詞抬闯，它是Extract井辆、Transform、Load三個英文單詞首字母的簡寫溶握，中文意為抽取杯缺、轉(zhuǎn)換、裝載睡榆。ETL是建立數(shù)據(jù)倉庫最重要的處理過程萍肆。
● 抽取：從操作型數(shù)據(jù)源獲取數(shù)據(jù)胀屿。
● 轉(zhuǎn)換：轉(zhuǎn)換數(shù)據(jù)塘揣，使之轉(zhuǎn)變?yōu)檫m用于查詢和分析的形式和結(jié)構(gòu)。
● 裝載：將轉(zhuǎn)換后的數(shù)據(jù)導(dǎo)入到最終的目標(biāo)數(shù)據(jù)倉庫宿崭。
建立一個數(shù)據(jù)倉庫亲铡，就是要把來自于多個異構(gòu)的源系統(tǒng)的數(shù)據(jù)集成在一起，放置于一個集中的位置用于數(shù)據(jù)分析葡兑。
1.4.1 數(shù)據(jù)抽取
1．邏輯抽取
有兩種邏輯抽取類型：全量抽取和增量抽取奖蔓。
2．物理抽取
依賴于選擇的邏輯抽取方法和能夠?qū)υ聪到y(tǒng)所做的操作和所受的限制，存在兩種物理數(shù)據(jù)抽取機制：直接從源系統(tǒng)聯(lián)機抽取或者間接從一個脫機結(jié)構(gòu)抽取數(shù)據(jù)讹堤。這個脫機結(jié)構(gòu)有可能已經(jīng)存在吆鹤，也可能需要由抽取程序生成。
（1）聯(lián)機抽取
數(shù)據(jù)直接從源系統(tǒng)抽取蜕劝。抽取進程或者直連源系統(tǒng)數(shù)據(jù)庫檀头，訪問它們的數(shù)據(jù)表，或者連接到一個存儲快照日志或變更記錄表的中間層系統(tǒng)岖沛。注意這個中間層系統(tǒng)并不需要必須和源系統(tǒng)物理分離暑始。
（2）脫機抽取
數(shù)據(jù)不從源系統(tǒng)直接抽取，而是從一個源系統(tǒng)以外的過渡區(qū)抽取婴削。過渡區(qū)可能已經(jīng)存在（例如數(shù)據(jù)庫備份文件廊镜、關(guān)系數(shù)據(jù)庫系統(tǒng)的重做日志、歸檔日志等）唉俗，或者抽取程序自己建立嗤朴。應(yīng)該考慮以下的存儲結(jié)構(gòu)：
3．變化數(shù)據(jù)捕獲
抽取處理需要重點考慮增量抽取配椭，也被稱為變化數(shù)據(jù)捕獲，簡稱CDC雹姊。假設(shè)一個數(shù)據(jù)倉庫系統(tǒng)股缸，在每天夜里的業(yè)務(wù)低峰時間從操作型源系統(tǒng)抽取數(shù)據(jù)，那么增量抽取只需要過去24小時內(nèi)發(fā)生變化的數(shù)據(jù)吱雏。變化數(shù)據(jù)捕獲也是建立準(zhǔn)實時數(shù)據(jù)倉庫的關(guān)鍵技術(shù)敦姻。
常用的變化數(shù)據(jù)捕獲方法有時間戳、快照歧杏、觸發(fā)器和日志四種镰惦。
1.4.2 數(shù)據(jù)轉(zhuǎn)換
數(shù)據(jù)轉(zhuǎn)換一個最重要的功能是清洗數(shù)據(jù)，目的是只有“合規(guī)”的數(shù)據(jù)才能進入目標(biāo)數(shù)據(jù)倉庫犬绒。
另一方面旺入，由于某些業(yè)務(wù)和技術(shù)的需要，也需要進行多種數(shù)據(jù)轉(zhuǎn)換凯力，例如下面的情況：
● 只裝載特定的數(shù)據(jù)列茵瘾。例如，某列為空的數(shù)據(jù)不裝載沮协。
● 統(tǒng)一數(shù)據(jù)編碼龄捡。例如卓嫂，性別字段慷暂，有些系統(tǒng)使用的是1和0，有些是‘M’和‘F'晨雳，有些是‘男’和‘女’行瑞，統(tǒng)一成‘M’和‘F'。
● 自由值編碼餐禁。例如血久，將‘Male’改成‘M'。
● 預(yù)計算帮非。例如氧吐，產(chǎn)品單價 * 購買數(shù)量 = 金額。
● 基于某些規(guī)則重新排序以提高查詢性能末盔。
● 合并多個數(shù)據(jù)源的數(shù)據(jù)并去重筑舅。
● 預(yù)聚合。例如陨舱，匯總銷售數(shù)據(jù)翠拣。
1.4.3 數(shù)據(jù)裝載
ETL的最后步驟是把轉(zhuǎn)換后的數(shù)據(jù)裝載進目標(biāo)數(shù)據(jù)倉庫。這步操作需要重點考慮兩個問題游盲，一是數(shù)據(jù)裝載的效率問題误墓，二是一旦裝載過程中途失敗了蛮粮，如何再次重復(fù)執(zhí)行裝載過程。
1.4.5 常見ETL工具
傳統(tǒng)大的軟件廠商一般都提供ETL工具軟件谜慌，如Oracle的OWB和ODI然想、微軟的SQLServer Integration Services、SAP的Data Integrator欣范、IBM的InfoSphereDataStage又沾、Informatica等。
這里簡單介紹另外一種開源的ETL工具——Kettle熙卡。
還有dataX（DataX 是阿里巴巴集團內(nèi)被廣泛使用的離線數(shù)據(jù)同步工具/平臺）杖刷，Sqoop，canal(阿里巴巴旗下的一款開源項目驳癌，純Java開發(fā))滑燃，kettle。
更多內(nèi)容請各大平臺直接購買書籍颓鲜，支持作者創(chuàng)作表窘。
