數(shù)據(jù)倉庫概念匯總

目錄

一苗沧、術(shù)語.......................................................................................................................................................................

3二刊棕、數(shù)據(jù)倉庫基礎(chǔ).......................................................................................................................................................

4

2.1相關(guān)概念.........................................................................................................................................................

4

2.1.1數(shù)據(jù)倉庫..............................................................................................................................................

4

2.1.2企業(yè)信息工廠......................................................................................................................................

6

2.1.3數(shù)據(jù)集市..............................................................................................................................................

6

2.1.4維..........................................................................................................................................................

7

2.1.5事實表..................................................................................................................................................

9

2.1.6操作數(shù)據(jù)存儲ODS ............................................................................................................................

12

2.1.7元數(shù)據(jù)................................................................................................................................................

13

2.1.8 ETL

.......................................................................................................................................................

14

2.1.9 OLAP

....................................................................................................................................................

17

2.1.10多維數(shù)據(jù)庫......................................................................................................................................

19

2.2數(shù)據(jù)倉庫架構(gòu)...............................................................................................................................................

20

一、術(shù)語

BI

Business

Intelligence待逞，即商業(yè)智能甥角，也看到有些媒體里寫作商務(wù)智能綜合企業(yè)所有沉淀下來的信息，用科學(xué)的分析方法识樱，為企業(yè)領(lǐng)導(dǎo)提供科學(xué)決策信息的過程嗤无。

BOSS

業(yè)務(wù)運營支撐系統(tǒng)：Business Operations Support Systems簡稱BOSS

BPM

Business

Performance Management (企業(yè)績效管理)，是以商業(yè)智能(BI)技術(shù)怜庸、平衡計分卡(BSC)和個人關(guān)鍵績效指標(biāo)(KPIs)等先進(jìn)信息技術(shù)和管理理論為基礎(chǔ)的戰(zhàn)略管理的工具当犯，在財務(wù)、客戶割疾、內(nèi)部流程和學(xué)習(xí)與發(fā)展四個維度上進(jìn)行綜合績效評測嚎卫，幫助企業(yè)從整體上實現(xiàn)對戰(zhàn)略實現(xiàn)過程的貫徹和控制。

BPR

業(yè)務(wù)流程重整（Business

Process Reengineering）宏榕，指利用數(shù)據(jù)倉庫技術(shù)拓诸，發(fā)現(xiàn)并糾正企業(yè)業(yè)務(wù)流程中的弊端的一項工作。數(shù)據(jù)倉庫的重要作用之一麻昼。

CRM

Customer

Relationship Management客戶關(guān)系管理奠支。CRM是選擇和管理有價值客戶及其關(guān)系的一種商業(yè)策略，CRM要求以客戶為中心的商業(yè)哲學(xué)和企業(yè)文化來支持有效的市場營銷涌献、銷售與服務(wù)流程胚宦。

CUBE

立方體

DM（Datamart）

即數(shù)據(jù)集市，或者叫做“小數(shù)據(jù)倉庫”燕垃。如果說數(shù)據(jù)倉庫是建立在企業(yè)級的數(shù)據(jù)模型之上的話枢劝。那么數(shù)據(jù)集市就是企業(yè)級數(shù)據(jù)倉庫的一個子集，他主要面向部門級業(yè)務(wù)卜壕，并且只面向某個特定的主題您旁。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉庫的瓶頸。

DM（DataMine）

數(shù)據(jù)挖掘是一個從大型數(shù)據(jù)庫中提取以前未知的轴捎，可理解的鹤盒，可執(zhí)行的信息并用它來進(jìn)行關(guān)鍵的商業(yè)決策的過程蚕脏。

DSS

決策支持系統(tǒng)（Decision

Support System），相當(dāng)于基于數(shù)據(jù)倉庫的應(yīng)用侦锯。決策支持就是在收集所有有關(guān)數(shù)據(jù)和信息驼鞭，經(jīng)過加工整理，來為企業(yè)決策管理層提供信息尺碰，為決策者的決策提供依據(jù)挣棕。

DW

Data

Warehouse，本世紀(jì)80年代中期亲桥，“數(shù)據(jù)倉庫之父”WilliamH洛心。Inmon先生在其《建立數(shù)據(jù)倉庫》一書中定義了數(shù)據(jù)倉庫的概念，隨后又給出了更為精確的定義：數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的题篷、集成的词身、與時間相關(guān)的、不可修改的數(shù)據(jù)集合番枚。與其他數(shù)據(jù)庫應(yīng)用不同的是法严，數(shù)據(jù)倉庫更像一種過程，對分布在企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)的整合户辫、加工和分析的過程渐夸。而不是一種可以購買的產(chǎn)品。

EDM

Enterprise

Data Model企業(yè)數(shù)據(jù)模型

ERP

Enterprise Resource Planning企業(yè)資源規(guī)劃渔欢。它是一個以管理會計為核心的信息系統(tǒng)墓塌，識別和規(guī)劃企業(yè)資

源，從而獲取客戶訂單奥额，完成加工和交付苫幢，最后得到客戶付款。換言之垫挨，ERP將企業(yè)內(nèi)部所有資源整合在一起韩肝，對采購、生產(chǎn)、成本、庫存呈枉、分銷、運輸剩蟀、財務(wù)、人力資源進(jìn)行規(guī)劃切威，從而達(dá)到最佳資源組合育特，取得最佳效益。

ETL

數(shù)據(jù)抽认入（Extract）缰冤、轉(zhuǎn)換（Transform）犬缨、清洗（Cleansing）、裝載（Load）的過程棉浸。構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)怀薛，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗涮拗，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型乾戏，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。

KDD

KDD（Knowledge Discovery in Database）數(shù)據(jù)庫中知識發(fā)現(xiàn)三热。是基于數(shù)據(jù)庫的知識發(fā)現(xiàn)，指的是從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取人們感興趣的知識三幻，這些知識是隱含的就漾、事先未知的、潛在有用的念搬、易被理解的模式抑堡。

KPI

企業(yè)關(guān)鍵業(yè)績指標(biāo)(KPI：Key Process Indication)是通過對組織內(nèi)部流程的輸入端、輸出端的關(guān)鍵參數(shù)進(jìn)行設(shè)

置朗徊、取樣首妖、計算、分析爷恳，衡量流程績效的一種目標(biāo)式量化管理指標(biāo)有缆，是把企業(yè)的戰(zhàn)略目標(biāo)分解為可操作的工作目標(biāo)的工具，是企業(yè)績效管理的基礎(chǔ)温亲。

LDM

邏輯數(shù)據(jù)模型(Logic Data Model)

MDD

多維數(shù)據(jù)庫（Multi-Dimensional

Database棚壁，MDD）可以簡單地理解為：將數(shù)據(jù)存放在一個n維數(shù)組中，而

不是像關(guān)系數(shù)據(jù)庫那樣以記錄的形式存放栈虚。因此它存在大量稀疏矩陣袖外，人們可以通過多維視圖來觀察數(shù)據(jù)。多維數(shù)據(jù)庫增加了一個時間維魂务，與關(guān)系數(shù)據(jù)庫相比曼验，它的優(yōu)勢在于可以提高數(shù)據(jù)處理速度，加快反應(yīng)時間粘姜，提高查詢效率鬓照。

Metadata

Metadata(元數(shù)據(jù))，它是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”在地理空間信息中用于描述地理數(shù)據(jù)集的內(nèi)容相艇、質(zhì)量颖杏、表示方式、空間參考坛芽、管理方式以及數(shù)據(jù)集的其他特征留储，它是實現(xiàn)地理空間信息共享的核心標(biāo)準(zhǔn)之一翼抠。目前，國際上對空間元數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容進(jìn)行研究的組織主要有三個获讳，分別是歐洲標(biāo)準(zhǔn)化委員會(CEN/TC287)阴颖、美國聯(lián)邦地理數(shù)據(jù)委員會(FGDC)和國際標(biāo)準(zhǔn)化組織地理信息/地球信息技術(shù)委員會(ISO/TC211)。

MOLAP

嚴(yán)格遵照Codd的定義丐膝，自行建立了多維數(shù)據(jù)庫量愧，來存放聯(lián)機(jī)分析系統(tǒng)數(shù)據(jù)的Arbor

Software，開創(chuàng)了多維數(shù)據(jù)存儲的先河帅矗，后來的很多家公司紛紛采用多維數(shù)據(jù)存儲偎肃。被人們稱為Multi-Dimension

OLAP，簡稱MOLAP浑此，代表產(chǎn)品有Hyperion(原Arbor Software)Essbase累颂、Showcase STRATEGY等。

ODS

(Operational Data Store)操作型數(shù)據(jù)存儲凛俱，對于一些準(zhǔn)實時的業(yè)務(wù)數(shù)據(jù)庫當(dāng)中的數(shù)據(jù)的暫時存儲紊馏，支持一些同時關(guān)連到歷史數(shù)據(jù)與實時數(shù)據(jù)分析的數(shù)據(jù)暫時存儲區(qū)域。

二蒲犬、數(shù)據(jù)倉庫基礎(chǔ)

2.1相關(guān)概念

2.1.1數(shù)據(jù)倉庫

目前朱监，數(shù)據(jù)倉庫一詞尚沒有一個統(tǒng)一的定義，著名的數(shù)據(jù)倉庫專家W原叮。H赫编。Inmon在其著作《Building the

Data Warehouse》一書中給予如下描述：數(shù)據(jù)倉庫（Data Warehouse）是一個面向主題的（Subject

Oriented）、集成的（Integrate）篇裁、相對穩(wěn)定的（Non-Volatile）沛慢、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策达布。

對于數(shù)據(jù)倉庫的概念我們可以從兩個層次予以理解团甲，首先，數(shù)據(jù)倉庫用于支持決策黍聂，面向分析型數(shù)據(jù)處理躺苦，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫；其次产还，數(shù)據(jù)倉庫是對多個異構(gòu)的數(shù)據(jù)源有效集成匹厘，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)脐区，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改愈诚。

根據(jù)數(shù)據(jù)倉庫概念的含義，數(shù)據(jù)倉庫擁有以下四個特點：1）面向主題。傳統(tǒng)數(shù)據(jù)庫主要是為應(yīng)用程序進(jìn)行數(shù)據(jù)處理炕柔，未必按照同一主題存儲數(shù)據(jù)酌泰；數(shù)據(jù)倉庫側(cè)重于數(shù)據(jù)分析工作，是按照主題存儲的匕累。這一點陵刹，類似于傳統(tǒng)農(nóng)貿(mào)市場與超市的區(qū)別—市場里面，白菜欢嘿、蘿卜衰琐、香菜會在一個攤位上，如果它們是一個小販賣的炼蹦；而超市里羡宙，白菜、蘿卜掐隐、香菜則各自一塊辛辨。也就是說，市場里的菜

(數(shù)據(jù))是按照小販(應(yīng)用程序)歸堆(存儲)的瑟枫，超市里面則是按照菜的類型(同主題)歸堆的。

[if !supportLists]2）[endif]集成的指攒。面向事務(wù)處理的操作型數(shù)據(jù)庫通常與某些特定的應(yīng)用相關(guān)慷妙，數(shù)據(jù)庫之間相互獨立，并且往往是異構(gòu)的允悦。而數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取膝擂、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的隙弛，必須消除源數(shù)據(jù)中的不一致性架馋，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。

[if !supportLists]3）[endif]相對穩(wěn)定的全闷。操作型數(shù)據(jù)庫中的數(shù)據(jù)通常實時更新叉寂，數(shù)據(jù)根據(jù)需要及時發(fā)生變化。數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用总珠，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢屏鳍，一旦某個數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后，一般情況下將被長期保留局服，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作钓瞭，但修改和刪除操作很少，通常只需要定期的加載淫奔、刷新山涡。

[if !supportLists]4）[endif]反映歷史變化。操作型數(shù)據(jù)庫主要關(guān)心當(dāng)前某一個時間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息鸭丛，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應(yīng)用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息竞穷，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測系吩。同樣都是累計購買過九車產(chǎn)品的顧客来庭，一位是最近三個月購買九車，一位是最近一年從未買過穿挨，這對于決策者意義是不同的月弛。

企業(yè)數(shù)據(jù)倉庫的建設(shè)，是以現(xiàn)有企業(yè)業(yè)務(wù)系統(tǒng)和大量業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ)科盛。數(shù)據(jù)倉庫不是靜態(tài)的概念帽衙，只有把信息及時交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營的決策贞绵，信息才能發(fā)揮作用厉萝，信息才有意義。而把信息加以整理歸納和重組榨崩，并及時提供給相應(yīng)的管理決策人員谴垫，是數(shù)據(jù)倉庫的根本任務(wù)。因此母蛛，從產(chǎn)業(yè)界的角度看翩剪，數(shù)據(jù)倉庫建設(shè)是一個工程，是一個過程彩郊。

下圖是一個典型的企業(yè)數(shù)據(jù)倉庫系統(tǒng)前弯，通常包含數(shù)據(jù)源、數(shù)據(jù)存儲與管理秫逝、數(shù)據(jù)的訪問三個部分：

[if !vml]

[endif]

數(shù)據(jù)源：是指企業(yè)操作型數(shù)據(jù)庫中的各種生產(chǎn)運營數(shù)據(jù)恕出、辦公管理數(shù)據(jù)等內(nèi)部數(shù)據(jù)和一些調(diào)查數(shù)據(jù)、市場信息等來自外環(huán)境的數(shù)據(jù)總稱违帆。這些數(shù)據(jù)是構(gòu)建數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)是整個系統(tǒng)的數(shù)據(jù)源泉浙巫。

數(shù)據(jù)的存儲與管理：數(shù)據(jù)倉庫的存儲主要由元數(shù)據(jù)的存儲及數(shù)據(jù)的存儲兩部分組成。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)前方，其內(nèi)容主要包括數(shù)據(jù)倉庫的數(shù)據(jù)字典狈醉、數(shù)據(jù)的定義、數(shù)據(jù)的抽取規(guī)則惠险、數(shù)據(jù)的轉(zhuǎn)換規(guī)則苗傅、數(shù)據(jù)加載頻率等信息。各操作數(shù)據(jù)庫中的數(shù)據(jù)按照元數(shù)據(jù)庫中定義的規(guī)則班巩，經(jīng)過抽取渣慕、清理嘶炭、轉(zhuǎn)換、集成逊桦，按照主題重新組織眨猎，依照相應(yīng)的存儲結(jié)構(gòu)進(jìn)行存儲。也可以面向應(yīng)用建立一些數(shù)據(jù)集市强经，數(shù)據(jù)集市可以看作是數(shù)據(jù)倉庫的一個子集睡陪，它含有較少的主題域且歷史時間更短數(shù)據(jù)量更少，一般只能為某個局部范圍內(nèi)的管理人員服務(wù)匿情，因此也稱之為部門級數(shù)據(jù)倉庫兰迫。

數(shù)據(jù)的訪問：由OLAP(聯(lián)機(jī)分析處理)、數(shù)據(jù)挖掘炬称、統(tǒng)計報表汁果、即席查詢等幾部分組成。例如OLAP：針對特定的分析主題玲躯，設(shè)計多種可能的觀察形式据德，設(shè)計相應(yīng)的分析主題結(jié)構(gòu)（即進(jìn)行事實表和維表的設(shè)計），使管理決

策人員在多維數(shù)據(jù)模型的基礎(chǔ)上進(jìn)行快速跷车、穩(wěn)定和交互性的訪問棘利，并進(jìn)行各種復(fù)雜的分析和預(yù)測工作。按照存

儲方式來分朽缴，OLAP可以分成MOLAP以及ROLAP等方式赡译，MOLAP(Multi-Dimension

OLAP)將OLAP分析所需的數(shù)據(jù)存放在多維數(shù)據(jù)庫中。分析主題的數(shù)據(jù)可以形成一個或多個多維立方體不铆。ROLAP(Relational OLAP)將OLAP分析所需的數(shù)據(jù)存放在關(guān)系型數(shù)據(jù)庫中。分析主題的數(shù)據(jù)以“事實表-維表”的星型模式組織裹唆。

2.1.2企業(yè)信息工廠

企業(yè)信息工廠（Corporate Information Factory誓斥，簡稱EIF）是一種構(gòu)建數(shù)據(jù)倉庫的架構(gòu)。企業(yè)信息工廠的創(chuàng)始人是數(shù)據(jù)倉庫之父Inmon许帐。

企業(yè)信息工廠主要包括集成轉(zhuǎn)換層（I&T）劳坑、操作數(shù)據(jù)存儲（ODS）、企業(yè)級數(shù)據(jù)倉庫（EDW）成畦、數(shù)據(jù)集市

（DM）距芬、探索倉庫（EW）等部件。這些部件有機(jī)的結(jié)合在一起循帐，為企業(yè)提供信息服務(wù)框仔。

集成轉(zhuǎn)換層的目的是將來自操作型源系統(tǒng)的數(shù)據(jù)集成轉(zhuǎn)換到數(shù)據(jù)倉庫中，它通常由一組程序組成拄养，而其它部件如數(shù)據(jù)倉庫和數(shù)據(jù)集市等則主要由數(shù)據(jù)組成离斩。當(dāng)業(yè)務(wù)數(shù)據(jù)來源多，業(yè)務(wù)復(fù)雜時，集成轉(zhuǎn)換層會建立一些臨時

表跛梗，為數(shù)據(jù)處理提供方便寻馏。這時，集成轉(zhuǎn)換層包括程序和數(shù)據(jù)核偿，也稱數(shù)據(jù)準(zhǔn)備區(qū)（Data Staging Area）诚欠。通常中等規(guī)模及以上的數(shù)據(jù)倉庫系統(tǒng)都會建立數(shù)據(jù)準(zhǔn)備區(qū)。

操作數(shù)據(jù)存儲（ODS）是建立在數(shù)據(jù)準(zhǔn)備區(qū)和數(shù)據(jù)倉庫之間的一個部件漾岳。用來滿足企業(yè)集成的轰绵、綜合的操作型處理需要。例如蝗羊，出盡可能實時的集成的操作報表等需求藏澳。一般野芒，也稱操作數(shù)據(jù)存儲是用來滿足企業(yè)戰(zhàn)術(shù)決策的需要丹拯。操作數(shù)據(jù)存儲是個可選的部件咬像。

企業(yè)級數(shù)據(jù)倉庫是企業(yè)信息工廠的核心部件莱睁，用來保存整個企業(yè)的數(shù)據(jù)阅酪。一般猾骡，也稱數(shù)據(jù)倉庫捞镰，是用來滿足企業(yè)戰(zhàn)略決策的需要木羹。數(shù)據(jù)倉庫的數(shù)據(jù)來自數(shù)據(jù)準(zhǔn)備區(qū)和操作數(shù)據(jù)存儲廷臼。

數(shù)據(jù)集市是為了滿足企業(yè)特定部門的分析需求而專門建立的數(shù)據(jù)的集合。數(shù)據(jù)集市的數(shù)據(jù)來源是數(shù)據(jù)倉庫妄壶。企業(yè)信息工廠中的數(shù)據(jù)集市一般來說是非規(guī)范化的奢浑、定制的和匯總的著蟹。而多維體系架構(gòu)中的數(shù)據(jù)集市分為兩種洪鸭，分別是原子數(shù)據(jù)集市和聚集數(shù)據(jù)集市。一般來說授帕，企業(yè)信息工廠中的數(shù)據(jù)集市相當(dāng)于多維體系架構(gòu)中的聚集數(shù)據(jù)集市奈偏。

探索倉庫或數(shù)據(jù)挖掘倉庫的建立主要是為了解決大型查詢，提高數(shù)據(jù)倉庫的效率躯护。當(dāng)有探索或挖掘需求時惊来，會從數(shù)據(jù)倉庫導(dǎo)出一部分?jǐn)?shù)據(jù)提供給他們操作。

企業(yè)信息工廠中的數(shù)據(jù)流向一般是從源系統(tǒng)到數(shù)據(jù)準(zhǔn)備區(qū)到操作數(shù)據(jù)存儲到數(shù)據(jù)倉庫到數(shù)據(jù)集市棺滞。當(dāng)分析人員在數(shù)據(jù)倉庫或數(shù)據(jù)集市中得出分析結(jié)論后裁蚁，會有信息的回流。這種信息回流有可能是物理數(shù)據(jù)的回流继准，也可能是直接改變業(yè)務(wù)部門的策略枉证，總之，要將分析的結(jié)果應(yīng)用起來锰瘸。通過這種信息的回流，企業(yè)信息工廠的不同部件可以不斷的相互調(diào)整昂灵，最終找到一種平衡避凝。這也是它稱為企業(yè)信息工廠的原因舞萄。

2.1.3數(shù)據(jù)集市

數(shù)據(jù)集市（Datamart）也叫做“小數(shù)據(jù)倉庫”。如果說數(shù)據(jù)倉庫是建立在企業(yè)級的數(shù)據(jù)模型之上的話管削，那么數(shù)據(jù)集市就是企業(yè)級數(shù)據(jù)倉庫的一個子集倒脓，他主要面向部門級業(yè)務(wù)，并且只面向某個特定的主題含思。數(shù)據(jù)集市可以在一定程度上緩解訪問數(shù)據(jù)倉庫的瓶頸崎弃。

即席查詢

即席查詢（Adhocqueries）是指那些用戶在使用系統(tǒng)時，根據(jù)自己當(dāng)時的需求定義的查詢含潘。

即席查詢生成的方式很多饲做，最常見的就是使用即席查詢工具。一般的數(shù)據(jù)展現(xiàn)工具都會提供即席查詢的功能遏弱。通常的方式是盆均，將數(shù)據(jù)倉庫中的維度表和事實表映射到語義層，用戶可以通過語義層選擇表漱逸，建立表間的關(guān)聯(lián)泪姨，最終生成SQL語句。

即席查詢與通常查詢從SQL語句上來說饰抒，并沒有本質(zhì)的差別肮砾。它們之間的差別在于，通常的查詢在系統(tǒng)設(shè)計和實施時是已知的袋坑，所有我們可以在系統(tǒng)實施時通過建立索引仗处、分區(qū)等技術(shù)來優(yōu)化這些查詢，使這些查詢的效率很高咒彤。而即席查詢是用戶在使用時臨時生產(chǎn)的疆柔，系統(tǒng)無法預(yù)先優(yōu)化這些查詢，所以即席查詢也是評估數(shù)據(jù)倉庫的一個重要指標(biāo)镶柱。

即席查詢的位置通常是在關(guān)系型的數(shù)據(jù)倉庫中旷档，即在EDW或者ROLAP中。多維數(shù)據(jù)庫有自己的存儲方式歇拆，對即席查詢和通常查詢沒有區(qū)別鞋屈。

在一個數(shù)據(jù)倉庫系統(tǒng)中，即席查詢使用的越多故觅，對數(shù)據(jù)倉庫的要求就越高厂庇，對數(shù)據(jù)模型的對稱性的要求也越高。對稱性的數(shù)據(jù)模型對所有的查詢都是相同的输吏，這也是維度建模的一個優(yōu)點权旷。

代理關(guān)鍵字－－surrogate key

在數(shù)據(jù)倉庫領(lǐng)域有一個概念叫Surrogate key，中文一般翻譯為“代理關(guān)鍵字”贯溅。代理關(guān)鍵字一般是指維度表中使用順序分配的整數(shù)值作為主鍵拄氯，也稱為“代理鍵”躲查。代理關(guān)鍵字用于維度表和事實表的連接。

代理關(guān)鍵字的稱呼有surrogate keys译柏，meaningless keys镣煮，integer

keys，nonnatural keys鄙麦，artificial

keys渡蜻，synthetic keys等揽祥。與之相對的自然關(guān)鍵字的稱呼有natural keys，samat keys等。

在Kimball的維度建模領(lǐng)域里彤守，是強(qiáng)烈推薦使用代理關(guān)鍵字的贸诚。在維度表和事實表的每一個聯(lián)接中都應(yīng)該使用代理關(guān)鍵字饰迹，而不應(yīng)該使用自然關(guān)鍵字（natural keys）或者智能關(guān)鍵字（Smart Keys）商架。數(shù)據(jù)倉庫中的主鍵不應(yīng)該是智能的，也就是說侣签，要避免通過主鍵的值就可以了解一些業(yè)務(wù)信息塘装。當(dāng)然，退化維度作為事實表的復(fù)合主鍵之一時例外影所。

使用代理關(guān)鍵字蹦肴，有很多優(yōu)點。

1．使用代理關(guān)鍵字能夠使數(shù)據(jù)倉庫環(huán)境對操作型環(huán)境的變化進(jìn)行緩沖猴娩。也就是說阴幌，當(dāng)數(shù)據(jù)倉庫需要對來自多個操作型系統(tǒng)的數(shù)據(jù)進(jìn)行整合時，這些系統(tǒng)中的數(shù)據(jù)有可能缺乏一致的關(guān)鍵字編碼卷中，即有可能出現(xiàn)重復(fù)矛双，這時代理關(guān)鍵字可以解決這個問題。

2．使用代理關(guān)鍵字可以帶來性能上的優(yōu)勢蟆豫。和自然關(guān)鍵字相比议忽，代理關(guān)鍵字很小，是整型的十减，可以減小事實表中記錄的長度栈幸。這樣，同樣的IO就可以讀取更多的事實表記錄帮辟。另外速址，整型字段作為外鍵聯(lián)接的效率也很高。

3．使用代理關(guān)鍵字可以建立一些不存在的維度記錄由驹，例如“不在促銷之列”芍锚，“日期待定”，“日期不可用”等維度記錄。

4．使用代理關(guān)鍵字可以用來處理緩慢變化維并炮。維度表數(shù)據(jù)的歷史變化信息的保存是數(shù)據(jù)倉庫設(shè)計的實施中非常重要的一部分蒿赢。Kimball的緩慢變化維處理策略的核心就是使用代理關(guān)鍵字。

當(dāng)然渣触，使用代理關(guān)鍵字也有它的缺點，代理關(guān)鍵字的使用使數(shù)據(jù)加載變得非常復(fù)雜壹若。有關(guān)使用代理關(guān)鍵字的維度表和事實表的加載方法在ETLToolkit中有詳細(xì)的描述嗅钻。使用代理關(guān)鍵字是一個從長遠(yuǎn)考慮的策略。

2.1.4維

維店展，是人們觀察數(shù)據(jù)的特定角度养篓，是考慮問題時的一類屬性，屬性集合構(gòu)成一個維赂蕴。

假定某某是個百貨零售商柳弄，有一些因素會影響他的銷售業(yè)務(wù)，如商品概说、時間碧注、商店或流通渠道，更具體一點糖赔，如品牌萍丐、月份、地區(qū)等放典。對某一給定的商品逝变，也許他想知道該商品在哪個商店和哪段時間的銷售情況。對某一商店奋构，也許他想知道哪個商品在哪段時間的銷售情況壳影。在某一時間，也許他想知道哪個商店哪種產(chǎn)品的銷售情況弥臼。因此宴咧，他需要決策支持來幫助制定銷售政策。

這里醋火，商店悠汽、時間和產(chǎn)品都是維。各個商店的集合是一個維芥驳，時間的集合是一個維柿冲，商品的集合也是一個

維。

緩慢變化維

維度建模的數(shù)據(jù)倉庫中兆旬，有一個概念叫Slowly Changing Dimensions假抄，中文一般翻譯成“緩慢變化維”，經(jīng)常被簡寫為SCD。緩慢變化維的提出是因為在現(xiàn)實世界中宿饱，維度的屬性并不是靜態(tài)的熏瞄，它會隨著時間的流失發(fā)生緩慢的變化。這種隨時間發(fā)生變化的維度我們一般稱之為緩慢變化維谬以，并且把處理維度表的歷史變化信息的問題稱為處理緩慢變化維的問題强饮，有時也簡稱為處理SCD的問題。

處理緩慢變化維的方法通常分為三種方式为黎。第一種方式是直接覆蓋原值邮丰。這樣處理，最容易實現(xiàn)铭乾，但是沒有保留歷史數(shù)據(jù)剪廉，無法分析歷史變化信息。第一種方式通常簡稱為“TYPE1”炕檩。

第二種方式是添加維度行斗蒋。這樣處理，需要代理鍵的支持笛质。實現(xiàn)方式是當(dāng)有維度屬性發(fā)生變化時泉沾，生成一條新的維度記錄，主鍵是新分配的代理鍵妇押，通過自然鍵可以和原維度記錄保持關(guān)聯(lián)爆哑。第二種方式通常簡稱為

“TYPE2”。

第三種方式是添加屬性列舆吮。這種處理的實現(xiàn)方式是對于需要分析歷史信息的屬性添加一列揭朝，來記錄該屬性變化前的值，而本屬性字段使用TYPE1來直接覆蓋色冀。這種方式的優(yōu)點是可以同時分析當(dāng)前及前一次變化的屬性值潭袱，缺點是只保留了最后一次變化信息。第三種方式通常簡稱為“TYPE3”锋恬。

在實際建模中屯换，我們可以聯(lián)合使用三種方式，也可以對一個維度表中的不同屬性使用不同的方式与学，這些彤悔，都需要根據(jù)實際情況來決定，但目的都是一樣的索守，就是能夠支持方便的分析歷史變化情況晕窑。

退化維度

在維度建模的數(shù)據(jù)倉庫中，有一種維度叫Degenerate Dimension卵佛，中文一般翻譯為“退化維度”杨赤。這種退化維度一般都是事務(wù)的編號敞斋，如訂單編號、發(fā)票編號等疾牲。這類編號需要保存到事實表中植捎，但是不需要對應(yīng)的維度表，所以稱為退化維度阳柔。

退化維度是維度建模領(lǐng)域中的一個非常重要的概念焰枢，它對理解維度建模有著非常重要的作用，尤其是對維度建模的入門者舌剂。

退化維度經(jīng)常會和其他一些維度一起組合成事實表的主鍵医咨。在Kimball提出的維度建模中，事實表應(yīng)該保存最細(xì)粒度的數(shù)據(jù)架诞。所以對于像銷售單這樣的事實表來說，需要銷售單編號和產(chǎn)品來共同作為主鍵干茉，而不能用銷售日期谴忧、商場、產(chǎn)品等用來分析的維度共同作為主鍵角虫。

退化維度在分析中可以用來做分組使用沾谓。它可以將同一個事務(wù)中銷售的產(chǎn)品集中在一起。

微型維度

在維度建模的數(shù)據(jù)倉庫中戳鹅，有一種維度叫Degenerate Dimension均驶，中文一般翻譯為“退化維度”。這種退化維度一般都是事務(wù)的編號枫虏，如訂單編號妇穴、發(fā)票編號等。這類編號需要保存到事實表中隶债，但是不需要對應(yīng)的維度表腾它，所以稱為退化維度。

退化維度是維度建模領(lǐng)域中的一個非常重要的概念死讹，它對理解維度建模有著非常重要的作用瞒滴，尤其是對維度建模的入門者。

退化維度經(jīng)常會和其他一些維度一起組合成事實表的主鍵赞警。在Kimball提出的維度建模中妓忍，事實表應(yīng)該保存最細(xì)粒度的數(shù)據(jù)。所以對于像銷售單這樣的事實表來說愧旦，需要銷售單編號和產(chǎn)品來共同作為主鍵世剖，而不能用銷售日期、商場笤虫、產(chǎn)品等用來分析的維度共同作為主鍵搁廓。

退化維度在分析中可以用來做分組使用引颈。它可以將同一個事務(wù)中銷售的產(chǎn)品集中在一起。

一致性維度

維度建模的數(shù)據(jù)倉庫中境蜕，有一個概念叫Conformed Dimension蝙场，中文一般翻譯為“一致性維度”。一致性維度是Kimball的多維體系結(jié)構(gòu)（MD）中的三個關(guān)鍵性概念之一粱年，另兩個是總線架構(gòu)（Bus Architecture）和一致性事實（Conformed Fact）售滤。

在多維體系結(jié)構(gòu)中，沒有物理上的數(shù)據(jù)倉庫台诗，由物理上的數(shù)據(jù)集市組合成邏輯上的數(shù)據(jù)倉庫完箩。而且數(shù)據(jù)集市的建立是可以逐步完成的，最終組合在一起拉队，成為一個數(shù)據(jù)倉庫弊知。如果分步建立數(shù)據(jù)集市的過程出現(xiàn)了問題，數(shù)據(jù)集市就會變成孤立的集市粱快，不能組合成數(shù)據(jù)倉庫秩彤，而一致性維度的提出正式為了解決這個問題。

一致性維度的范圍是總線架構(gòu)中的維度事哭，即可能會在多個數(shù)據(jù)集市中都存在的維度漫雷，這個范圍的選取需要架構(gòu)師來決定。一致性維度的內(nèi)容和普通維度并沒有本質(zhì)上區(qū)別鳍咱，都是經(jīng)過數(shù)據(jù)清洗和整合后的結(jié)果降盹。

一致性維度建立的地點是多維體系結(jié)構(gòu)的后臺（Back Room），即數(shù)據(jù)準(zhǔn)備區(qū)谤辜。在多維體系結(jié)構(gòu)的數(shù)據(jù)倉庫項目組內(nèi)需要有專門的維度設(shè)計師蓄坏，他的職責(zé)就是建立維度和維護(hù)維度的一致性。在后臺建立好的維度同步復(fù)制到各個數(shù)據(jù)集市丑念。這樣所有數(shù)據(jù)集市的這部分維度都是完全相同的剑辫。建立新的數(shù)據(jù)集市時，需要在后臺進(jìn)行一致性維度處理渠欺，根據(jù)情況來決定是否新增和修改一致性維度妹蔽，然后同步復(fù)制到各個數(shù)據(jù)集市。這是不同數(shù)據(jù)集市維度保持一致的要點挠将。

在同一個集市內(nèi)胳岂，一致性維度的意思是兩個維度如果有關(guān)系，要么就是完全一樣的舔稀，要么就是一個維度在數(shù)學(xué)意義上是另一個維度的子集乳丰。例如，如果建立月維度話内贮，月維度的各種描述必須與日期維度中的完全一致产园，最常用的做法就是在日期維度上建立視圖生成月維度汞斧。這樣月維度就可以是日期維度的子集，在后續(xù)鉆取

等操作時可以保持一致什燕。如果維度表中的數(shù)據(jù)量較大粘勒，出于效率的考慮，應(yīng)該建立物化視圖或者實際的物理表屎即。

這樣庙睡，維度保持一致后，事實就可以保存在各個數(shù)據(jù)集市中技俐。雖然在物理上是獨立的乘陪，但在邏輯上由一致性維度使所有的數(shù)據(jù)集市是聯(lián)系在一起，隨時可以進(jìn)行交叉探察等操作雕擂，也就組成了數(shù)據(jù)倉庫啡邑。

雜項維度

在維度建模的數(shù)據(jù)倉庫中，有一種維度叫Junk Dimension井赌，中文一般翻譯為“雜項維度”谤逼。雜項維度是由操作系統(tǒng)中的指示符或者標(biāo)志字段組合而成，一般不在一致性維度之列族展。

在操作系統(tǒng)中，我們定義好各種維度后拔鹰，通常還會剩下一些在小范圍內(nèi)取離散值的指示符或者標(biāo)志字段仪缸。例如：支付類型字段，包括現(xiàn)金和信用卡兩種類型列肢，在源系統(tǒng)中它們可能是維護(hù)在類型表中恰画，也可能直接保存在交易表中。

一張事實表中可能會存在好幾個類似的字段瓷马，如果作為事實存放在事實表中拴还，會導(dǎo)致事實表占用空間過大；如果單獨建立維度表欧聘，外鍵關(guān)聯(lián)到事實表片林，會出現(xiàn)維度過多的情況；如果將這些字段刪除怀骤，會有人不同意费封。

這時，我們通常的解決方案就是建立雜項維度蒋伦，將這些字段建立到一個維度表中弓摘，在事實表中只需保存一個外鍵。幾個字段的不同取值組成一條記錄痕届，生成代理鍵韧献，存入維度表末患，并將該代理鍵保存入相應(yīng)的事實表字段。建議不要直接使用所有的組合生成完整的雜項維度表锤窑，在抽取時遇到新的組合時生成相應(yīng)記錄即可璧针。雜項維度的ETL過程比一般的維度略為復(fù)雜。

2.1.5事實表

在維度建模的數(shù)據(jù)倉庫中果复，事實表是指其中保存了大量業(yè)務(wù)度量數(shù)據(jù)的表陈莽。事實表中的度量值一般稱為事實。在事實表中最有用的事實就是數(shù)字類型的事實和可加類型的事實虽抄。事實表的粒度決定了數(shù)據(jù)倉庫中數(shù)據(jù)的詳細(xì)程度走搁。

1）一般來說，以粒度作為化分依據(jù)迈窟，主要有三種事實表私植，分別是事務(wù)粒度事實表，周期快照粒度事實表和累積快照粒度事實表车酣。

事務(wù)粒度事實表（Transaction Grain Fact Table）中的一條記錄代表了業(yè)務(wù)系統(tǒng)中的一個事件曲稼。事務(wù)出現(xiàn)以后，就會在事實中出現(xiàn)一條記錄湖员。事務(wù)粒度事實表也稱為原子粒度贫悄。典型的例子是銷售單分列項事實表。事務(wù)事實表的日期維度記錄的是事務(wù)發(fā)生的日期娘摔，它記錄的事實是事務(wù)活動的內(nèi)容窄坦。用戶可以通過事務(wù)事實表對事務(wù)行為進(jìn)行特別詳細(xì)的分析。

周期快照粒度事實表（Periodic Snapshot Grain Fact Table）以具有規(guī)律性的凳寺、可預(yù)見的時間間隔來記錄事實鸭津，時間間隔如每天、每月肠缨、每年等等逆趋。典型的例子如銷售日快照表、庫存日快照表等晒奕。

周期快照粒度事實表的粒度是每個時間段一條記錄闻书，通常比事務(wù)事實表的粒度要粗，是在事務(wù)事實表之上建立的聚集表脑慧。周期快照事實表的維度個數(shù)比事務(wù)事實表要少惠窄，但是記錄的事實要比事務(wù)事實表多。

周期快照粒度事實表的日期維度通常是記錄時間段的終止日漾橙，記錄的事實是這個時間段內(nèi)一些聚集事實值杆融。事實表的數(shù)據(jù)一旦插入即不能更改，其更新方式為增量更新霜运。

累積快照事實表（Accumulating Snapshot Grain Fact Table）一般用來涵蓋一個事務(wù)的生命周期內(nèi)的不確定的時間跨度脾歇。典型的例子是KDT#2中描述的具有多個日期字段的發(fā)貨事實表蒋腮。它和周期快照事實表有些相似之處，它們存儲的都是事務(wù)數(shù)據(jù)的快照信息藕各。但是它們之間也有著很大的不同池摧，周期快照事實表記錄的確定的周期的數(shù)據(jù)，而累積快照事實表記錄的不確定的周期的數(shù)據(jù)激况。

累積快照事實表代表的是完全覆蓋一個事務(wù)或產(chǎn)品的生命周期的時間跨度作彤，它通常具有多個日期字段，用來記錄整個生命周期中的關(guān)鍵時間點乌逐。另外竭讳，它還會有一個用于指示最后更新日期的附加日期字段。由于事實表中許多日期在首次加載時是不知道的浙踢，所以必須使用代理關(guān)鍵字來處理未定義的日期绢慢，而且這類事實表在數(shù)據(jù)加載完后，是可以對它進(jìn)行更新的洛波，來補(bǔ)充隨后知道的日期信息胰舆。

舉例來說：訂貨日期預(yù)定交貨日期實際發(fā)貨日期實際交貨日期數(shù)量金額運費

在這個累積快照事實表中，記錄的是購買貨物的整個生命周期的數(shù)據(jù)蹬挤，記錄第一次產(chǎn)生時缚窿，實際發(fā)貨日期和實際交貨日期是不確定的，需要用表示未知的代理關(guān)鍵字來代替焰扳。等實際發(fā)貨后倦零，需要對數(shù)據(jù)倉庫中的這條記錄進(jìn)行更新操作，將實際發(fā)貨日期補(bǔ)上蓝翰。

通常來說光绕，事務(wù)和快照是建模中的兩個非常重要的特點女嘲，將兩者相結(jié)合可以使模型建立的更完整畜份。

2）從用途的不同來說，事實表可以分為三類欣尼，分別是原子事實表爆雹，聚集事實表和合并事實表。

原子事實表（Atom Fact Table）是保存最細(xì)粒度數(shù)據(jù)的事實表愕鼓，也是數(shù)據(jù)倉庫中保存原子信息的場所钙态。事務(wù)事實表（Transactionfacttable）記錄的事務(wù)層面的事實，保存的是最原子的數(shù)據(jù)菇晃，也稱“原子事實表”册倒。事務(wù)事實表中的數(shù)據(jù)在事務(wù)事件發(fā)生后產(chǎn)生，數(shù)據(jù)的粒度通常是每個事務(wù)一條記錄磺送。一旦事務(wù)被提交驻子，事實表數(shù)據(jù)被插入灿意，數(shù)據(jù)就不再進(jìn)行更改，其更新方式為增量更新崇呵。

聚集事實表（Aggregated Fact Table）是原子事實表上的匯總數(shù)據(jù)缤剧，也稱為匯總事實表。即新建立一個事實表域慷，它的維度表是比原維度表要少荒辕，或者某些維度表是原維度表的子集，如用月份維度表代替日期維度表犹褒；事實數(shù)據(jù)是相應(yīng)事實的匯總抵窒，即求和或求平均值等。在做數(shù)據(jù)遷移時化漆，當(dāng)相關(guān)的維度數(shù)據(jù)和事實數(shù)據(jù)發(fā)生變化

時估脆，聚集事實表需要做相應(yīng)的刷新。物化視圖是實現(xiàn)聚集事實表的一種有效方式座云，可以設(shè)定刷新方式疙赠，具體功能由DBMS來實現(xiàn)。

合并事實表（Consolidated Fact Table）是指將位于不同事實表中處于相同粒度的事實進(jìn)行組合建模而成的一種事實表朦拖。即新建立一個事實表圃阳，它的維度是兩個或多個事實表的相同維度的集合；事實是幾個事實表中感興趣的事實璧帝。在Kimball的總線架構(gòu)中捍岳，由合并事實表為主組成的合并數(shù)據(jù)集市稱為二級數(shù)據(jù)集市。合并事實表的粒度可以是原子粒度也可以是聚集粒度睬隶。在做數(shù)據(jù)遷移時锣夹，當(dāng)相關(guān)的原子事實表的數(shù)據(jù)有改變時，合并事實表的數(shù)據(jù)需要重新刷新苏潜。合并事實表和交叉探察是兩個互補(bǔ)的操作银萍。

聚集事實表和合并事實表的主要差別是合并事實表一般是從多個事實表合并而來。但是它們的差別不是絕對的恤左，一個事實表既是聚集事實表又是合并事實表是很有可能的贴唇。因為一般合并事實表需要按相同的維度合并，所以很可能在做合并的同時需要進(jìn)行聚集飞袋，即粒度變粗戳气。

旋轉(zhuǎn)事實表旋轉(zhuǎn)事實表（pivotedfacttable）是將一條記錄中的多個事實字段轉(zhuǎn)化為多條記錄，其中每條記錄保存一個事實字段的一種建模方法巧鸭〈彻溃或者反過來瓶埋，也可以由多條記錄轉(zhuǎn)化為一條記錄敏沉。

旋轉(zhuǎn)事實表建模方法的使用通常是為了簡化前端數(shù)據(jù)展現(xiàn)的查詢。它通過改變后端的事實記錄存儲方式芯肤，使相應(yīng)的查詢需求的性能得到的極大的提高。如果在SQL或者查詢工具中進(jìn)行這種轉(zhuǎn)換會非常麻煩压鉴，效率也很差崖咨。和合并事實表類似，有時當(dāng)基礎(chǔ)表中沒有記錄時油吭，旋轉(zhuǎn)事實表也要存儲一些零值在里面击蹲。

預(yù)連接聚集表

預(yù)連接聚集表（pre-joinedaggregagtetable）是通過對事實表和維度表的聯(lián)合查詢而生成的一類匯總表。在預(yù)連接聚集表中婉宰，保存有維度表中的描述信息和事實表的事實值歌豺。通過預(yù)連接，可以避免在用戶查詢時RDBMS的連接操作心包，所以預(yù)連接聚集表的查詢效率要高很多类咧。典型的預(yù)連接聚集表如下例所示的銷售事實表：

產(chǎn)品名稱商標(biāo)名稱年份 月份 銷售人員名稱 銷售量 銷售金額

在這個銷售事實表，前五個字段都來自于維度表的描述字段蟹腾，后兩個字段來自于事實表的事實字段痕惋。這樣在用戶提交查詢后，RDBMS就不需要連接維度表和事實表了娃殖，只需直接在該表中查詢即可值戳。

預(yù)連接聚集表有一個很大的缺點，它需要占用大量的存儲空間炉爆。預(yù)連接事實表的記錄和事實表一樣多堕虹，每條記錄的長度和維度表一樣長，所以對存儲空間的需求是非常大的芬首。除非情況特殊赴捞，或者該表是高度匯總的，否則不建議建立預(yù)連接聚集表郁稍。在建立預(yù)連接聚集表時需要平衡效率和存儲空間的矛盾赦政。

預(yù)連接聚集表的生成方式較為簡單，直接使用SQL查詢即可生成艺晴。如果聚集導(dǎo)航器的功能很強(qiáng)大的話昼钻，也可以處理預(yù)連接聚集表掸屡。否則封寞，需要用戶理解預(yù)連接聚集表，并在SQL中直接使用該表仅财。

預(yù)連接聚集表在數(shù)據(jù)倉庫領(lǐng)域有著很重要的作用狈究，是匯總表的一種。它的優(yōu)點和缺點都很明顯盏求，在使用時需要綜合考慮抖锥。

非事實型事實表

在非事實型事實表（Factless Fact Table）亿眠，通常會保存十個左右的維度外鍵和多個度量事實，度量事實是事實表的關(guān)鍵所在磅废。在非事實型事實表中沒有這些度量事實纳像，只有多個維度外鍵。非事實型事實表通常用來跟蹤一些事件或者說明某些活動的范圍拯勉。下面舉例來進(jìn)行說明竟趾。

第一類非事實型事實表是用來跟蹤事件的事實表。例如：學(xué)生注冊事件宫峦，學(xué)校需要對學(xué)生按學(xué)期進(jìn)行跟蹤岔帽。維度表包括學(xué)期維度、課程維度导绷、系維度犀勒、學(xué)生維度、注冊專業(yè)維度和取得學(xué)分維度妥曲，而事實表是由這些維度的主鍵組成贾费，事實只有注冊數(shù)，并且恒為1檐盟。這樣的事實表可以回答大量關(guān)于大學(xué)開課注冊方面的問題铸本，主要是回答各種情況下的注冊數(shù)。

第二類非事實型事實表是用來說明某些活動范圍的事實表遵堵。例如：促銷范圍事實表箱玷。通常銷售事實表可以回答如促銷商品的銷售情況，但是對于那些沒有銷售出去的促銷商品沒法回答陌宿。這時锡足，通過建立促銷范圍事實表，將商場需要促銷的商品單獨建立事實表保存壳坪。然后舶得，通過這個促銷范圍事實表和銷售事實表即可得出哪些促銷商品沒有銷售出去。這樣的促銷范圍事實表只是用來說明促銷活動的范圍爽蝴，其中沒有任何事實度量沐批。

切片事實表

切片事實表（Sliced Fact Table）中的字段結(jié)構(gòu)和相應(yīng)的基礎(chǔ)表完全相同，差別在于存儲的記錄的范圍蝎亚。

切片事實表中保存記錄的是相應(yīng)基礎(chǔ)表中記錄的子集九孩，記錄數(shù)通常與某個維度記錄數(shù)相同。

這種建模方法一般用來滿足特殊需要发框，如需要分析某些特殊問題時躺彬，可以將與之相關(guān)的數(shù)據(jù)切片出來。相反，這種方法也常用于合并存儲在不同地區(qū)的數(shù)據(jù)仿野，即各個地區(qū)都保存自己地區(qū)的數(shù)據(jù)，總部和所有地區(qū)的表結(jié)構(gòu)都相同鳖枕，然后總部將所有地區(qū)的數(shù)據(jù)合并在一起。

切片事實表的結(jié)構(gòu)與相對應(yīng)的基礎(chǔ)表相同呐赡，數(shù)據(jù)來源于相對應(yīng)的基礎(chǔ)表怀泊。切片事實表由于縮小了表中數(shù)據(jù)的記錄數(shù)枣申，所以查詢的效率得到了很大的提高泊窘。

蜈蚣事實表

蜈蚣事實表（Centipedefacttable）是指那些一張事實表中有太多維度的事實表熄驼。連接在事實表兩邊的維度表過多，看起來就像蜈蚣一樣烘豹，所以稱為“蜈蚣事實表”瓜贾。

通常來說，蜈蚣事實表的出現(xiàn)是由于建模師對事實表和維度表逆規(guī)范化過了頭携悯。例如祭芦，不單將產(chǎn)品主鍵放入事實表中，對于產(chǎn)品層級結(jié)構(gòu)中的每一層的主鍵都放入事實表中憔鬼，這樣事實表中與產(chǎn)品相關(guān)的就會有產(chǎn)品

ID龟劲、商標(biāo)ID、子類ID轴或、類別ID等多個外鍵昌跌。同樣，也有建模師將日期相關(guān)的日期ID照雁、月ID蚕愤、年ID都放入事實表中。這些都將產(chǎn)生蜈蚣事實表饺蚊，使自己落入維度過多的陷阱萍诱。

蜈蚣事實表雖然使查詢效率有所提高，但是伴之而來的是存儲空間的大量增長污呼。在維度建模的數(shù)據(jù)倉庫中裕坊，維度表的字段個數(shù)可以盡可能的增加，但是事實表的字段要盡量減少燕酷，因為相比而言籍凝，事實表的記錄數(shù)要遠(yuǎn)遠(yuǎn)大于維度表的記錄數(shù)。

一般來說苗缩，事實表相關(guān)的維度在15個以下為正常静浴，如果維度個數(shù)超過25個，就出現(xiàn)了維度過多的蜈蚣事實表挤渐。這時苹享，需要做的事情是自己核查，將相關(guān)的維度進(jìn)行合并浴麻，減少維度的個數(shù)得问。

一致性事實

一致性事實（ConformedFact）是Kimball的多維體系結(jié)構(gòu)（MD）中的三個關(guān)鍵性概念之一，另兩個是總線架構(gòu)（Bus Architecture）和一致性維度（Conformed Dimension）软免。

在建立多個數(shù)據(jù)集市時宫纬，完成一致性維度的工作就已經(jīng)完成了一致性的80%－90%的工作量。余下的工作就是建立一致性事實膏萧。

一致性事實和一致性維度有些不同漓骚，一致性維度是由專人維護(hù)在后臺（BackRoom）蝌衔，發(fā)生修改時同步復(fù)制到每個數(shù)據(jù)集市，而事實表一般不會在多個數(shù)據(jù)集市間復(fù)制蝌蹂。需要查詢多個數(shù)據(jù)集市中的事實時噩斟，一般通過交叉探查（drillacross）來實現(xiàn)。

為了能在多個數(shù)據(jù)集市間進(jìn)行交叉探查孤个，一致性事實主要需要保證兩點剃允。第一個是KPI的定義及計算方法要一致，第二個是事實的單位要一致性齐鲤。如果業(yè)務(wù)要求或事實上就不能保持一致的話斥废，建議不同單位的事實分開建立字段保存。

這樣给郊，一致性維度將多個數(shù)據(jù)集市結(jié)合在一起牡肉，一致性事實保證不同數(shù)據(jù)集市間的事實數(shù)據(jù)可以交叉探查，一個分布式的數(shù)據(jù)倉庫就建成了淆九。

2.1.6操作數(shù)據(jù)存儲ODS

在數(shù)據(jù)倉庫架構(gòu)中有一種部件叫Operational

Data Store（ODS）荚板，中文一般翻譯為“操作數(shù)據(jù)存儲”。操作數(shù)據(jù)存儲在通常的數(shù)據(jù)倉庫架構(gòu)中都是一個可選的部件吩屹，它和數(shù)據(jù)倉庫起到互相補(bǔ)充的作用跪另。

最早給ODS下定義的是數(shù)據(jù)倉庫之父Inmon。他的定義是煤搜，操作數(shù)據(jù)存儲（ODS）是面向主題的免绿、集成的、可變的擦盾、反映當(dāng)前數(shù)據(jù)值的和詳細(xì)的數(shù)據(jù)的集合嘲驾，用來滿足企業(yè)綜合的、集成的以及操作型的處理需求迹卢。

Inmon的這個定義與他對數(shù)據(jù)倉庫的定義很像辽故。其中前兩個特性和數(shù)據(jù)倉庫是一樣的，即都是面向主題的和集成的腐碱，而后三個特性和數(shù)據(jù)倉庫相差較大誊垢。

ODS中的數(shù)據(jù)是可以變化的：這一點是Inmon相對與他的CIF（企業(yè)信息工廠）中的數(shù)據(jù)倉庫來說的，在CIF中症见，數(shù)據(jù)倉庫中的數(shù)據(jù)是不進(jìn)行更新的喂走，對于錯誤的處理通常是采用新的快照來進(jìn)行保存。而ODS是可以按常規(guī)方法進(jìn)行更新的谋作。

ODS反映當(dāng)前數(shù)據(jù)值：這一點是指ODS中不會長期的保留數(shù)據(jù)芋肠，通常ODS保留的數(shù)據(jù)的時限最長到一個月或三個月。而數(shù)據(jù)倉庫可以保留五年遵蚜、十年或更長的數(shù)據(jù)帖池。

ODS中保留詳細(xì)數(shù)據(jù)：這一點是說ODS中只保留原子數(shù)據(jù)奈惑，而不保留匯總數(shù)據(jù)。而在數(shù)據(jù)倉庫中原子數(shù)據(jù)和匯總數(shù)據(jù)都會進(jìn)行保留睡汹。這和ODS可更新的特性相關(guān)肴甸，因為隨時可能將操作型系統(tǒng)的數(shù)據(jù)變化更新到ODS中，并且數(shù)據(jù)的遷移時間間隔會很短帮孔，這都使匯總數(shù)據(jù)在ODS中的意義不大雷滋。

?ODS分類

Inmon在給ODS下了定義之后不撑，進(jìn)一步把ODS分成了四類文兢。根據(jù)數(shù)據(jù)到達(dá)ODS的時間間隔，即數(shù)據(jù)從操作型系統(tǒng)生成開始到數(shù)據(jù)到達(dá)ODS為止的時間長短焕檬，ODS分為ClassI姆坚、ClassII、ClassIII和ClassIV四類实愚。

ClassI的ODS：指時間間隔為秒級兼呵，即對用戶來說，ODS是個透明的部件腊敲，操作型系統(tǒng)業(yè)務(wù)發(fā)生后击喂，數(shù)據(jù)立刻就可以在ODS中看到。這類ODS事實上是很難實現(xiàn)的碰辅。秒級的數(shù)據(jù)遷移間隔懂昂，我們沒有時間進(jìn)行數(shù)據(jù)的整合。對于此類ODS没宾，從技術(shù)和成本上來說凌彬，都是不合算的。

ClassII的ODS：指時間間隔為小時級循衰，即操作型系統(tǒng)業(yè)務(wù)發(fā)生后铲敛，數(shù)據(jù)要經(jīng)個幾個小時才能出現(xiàn)在ODS部件中。

ClassIII的ODS：指時間間隔為天級会钝，即我們常見到的數(shù)據(jù)倉庫的遷移頻率伐蒋，如每天晚上進(jìn)行一次數(shù)據(jù)遷移。

ClassIV的ODS：指時間間隔更長迁酸，可能為月級咽弦、甚至年級。ClassIV和其他類尤為不同的一點是胁出，ClassIV的數(shù)據(jù)源經(jīng)常是數(shù)據(jù)倉庫型型。

ClassI的ODS是實時數(shù)據(jù)倉庫的一種實現(xiàn)方式。ClassII和ClassIII的ODS是比較通常的ODS實現(xiàn)方式全蝶。

ClassIV的ODS非常有用的一類ODS實現(xiàn)方式闹蒜。

在ClassIV的ODS中寺枉，最為常見的記錄就是從數(shù)據(jù)倉庫中總結(jié)出來的概況數(shù)據(jù)（ProfileRecord）。概況數(shù)據(jù)

是數(shù)據(jù)情況的大綱绷落。以客戶為例姥闪，可以總結(jié)的概況數(shù)據(jù)如下：每月買衣服的件數(shù)，每周的銷售量砌烁，每年會看兩次眼科醫(yī)生等等筐喳。ODS中的概況數(shù)據(jù)是從大量的詳細(xì)數(shù)據(jù)中總結(jié)出來的，大部分是統(tǒng)計和挖掘處理的結(jié)果函喉，它們存放到ODS中避归，供操作人員了解客戶的情況。

需要說明的一點是管呵，雖然ODS從概念上分成這樣的四類梳毙，但是在進(jìn)行數(shù)據(jù)倉庫的架構(gòu)時，我們不必過于刻板捐下，四類ODS同時使用也應(yīng)該是很正常的選擇账锹。例如，對于非常敏感的個別數(shù)據(jù)坷襟，我們可以選擇ClassI奸柬，而對于一般的數(shù)據(jù)，選擇ClassII或者ClassIII婴程。個人感覺廓奕，ClassIV是Inmon尤為推薦的一類。

由于ODS仍然存儲在普通的關(guān)系數(shù)據(jù)庫中排抬，出于性能懂从、存儲和備份恢復(fù)等數(shù)據(jù)庫的角度以及對源數(shù)據(jù)庫的性能影響角度，個人不建議ODS保存相當(dāng)長周期的數(shù)據(jù)蹲蒲，同樣ODS中的數(shù)據(jù)也盡量不做轉(zhuǎn)換番甩，而是原封不動地與業(yè)務(wù)數(shù)據(jù)庫保持一致。即ODS只是業(yè)務(wù)數(shù)據(jù)庫的一個備份或者映像届搁，目的是為了使數(shù)據(jù)倉庫的處理和決策支持要求與OLTP系統(tǒng)相隔離缘薛，減少決策支持要求對OLTP系統(tǒng)的影響。

?ODS的作用

為什么需要有一個ODS呢卡睦？一般在帶有ODS的系統(tǒng)體系結(jié)構(gòu)中宴胧，ODS都具備如下幾個作用：

[if !supportLists]1）[endif]在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間形成一個隔離層一般的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)都具有非常復(fù)雜的數(shù)據(jù)來源，這些數(shù)據(jù)存放在不同的地理位置表锻、不同的數(shù)據(jù)庫恕齐、不同的應(yīng)用之中，從這些業(yè)務(wù)系統(tǒng)對數(shù)據(jù)進(jìn)行抽取并不是一件容易的事瞬逊。因此显歧，ODS用于存放從業(yè)務(wù)系統(tǒng)直接抽取出來的數(shù)據(jù)仪或，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上都與業(yè)務(wù)系統(tǒng)基本保持一致士骤，因此在抽取過程中極大降低了數(shù)據(jù)轉(zhuǎn)化的復(fù)雜性范删，而主要關(guān)注數(shù)據(jù)抽取的接口、數(shù)據(jù)量大小拷肌、抽取方式等方面的問題到旦。

[if !supportLists]2）[endif]轉(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)細(xì)節(jié)查詢的功能在數(shù)據(jù)倉庫建立之前，大量的報表巨缘、分析是由業(yè)務(wù)系統(tǒng)直接支持的添忘，在一些比較復(fù)雜的報表生成過程中，對業(yè)務(wù)系統(tǒng)的運行產(chǎn)生相當(dāng)大的壓力带猴。ODS的數(shù)據(jù)從粒度昔汉、組織方式等各個方面都保持了與業(yè)務(wù)系統(tǒng)的一致懈万，那么原來由業(yè)務(wù)系統(tǒng)產(chǎn)生的報表拴清、細(xì)節(jié)數(shù)據(jù)的查詢自然能夠從ODS中進(jìn)行，從而降低業(yè)務(wù)系統(tǒng)的查詢壓力会通。

[if !supportLists]3）[endif]完成數(shù)據(jù)倉庫中不能完成的一些功能一般來說口予，帶有ODS的數(shù)據(jù)倉庫體系結(jié)構(gòu)中，DW層所存儲的數(shù)據(jù)都是進(jìn)行匯總過的數(shù)據(jù)和運營指標(biāo)涕侈，并不存儲每筆交易產(chǎn)生的細(xì)節(jié)數(shù)據(jù)沪停，但是在某些特殊的應(yīng)用中，可能需要對交易細(xì)節(jié)數(shù)據(jù)進(jìn)行查詢裳涛，這時就需要把細(xì)節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)移到ODS來完成木张，而且ODS的數(shù)據(jù)模型按照面向主題的方式進(jìn)行存儲，可以方便地支持多維分析等查詢功能端三。即數(shù)據(jù)倉庫從宏觀角度滿足企業(yè)的決策支持要求舷礼，而ODS層則從微觀角度反映細(xì)節(jié)交易數(shù)據(jù)或者低粒度的數(shù)據(jù)查詢要求。

在一個沒有ODS層的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)體系結(jié)構(gòu)中郊闯，數(shù)據(jù)倉庫中存儲的數(shù)據(jù)粒度是根據(jù)需要而確定的妻献，但一般來說，最為細(xì)節(jié)的業(yè)務(wù)數(shù)據(jù)也是需要保留的团赁，實際上也就相當(dāng)于ODS育拨，但與ODS所不同的是，這時的細(xì)節(jié)數(shù)據(jù)不是“當(dāng)前欢摄、不斷變化的”數(shù)據(jù)熬丧，而是“歷史的，不再變化的”數(shù)據(jù)怀挠。這樣的數(shù)據(jù)倉庫的存儲壓力和性能壓力都是比較大的析蝴，因此對數(shù)據(jù)倉庫的物理設(shè)計和邏輯設(shè)計提出了更高的要求矗钟。

2.1.7元數(shù)據(jù)正如其他種類的倉庫都要保留一個庫存清單一樣，數(shù)據(jù)倉庫也要也要保留一個‘庫存’清單嫌变，以跟蹤那些數(shù)據(jù)倉庫中保存的數(shù)據(jù)的結(jié)構(gòu)吨艇、定義以及這些數(shù)據(jù)的‘來歷’等等。這個‘庫存’清單實質(zhì)上就是我們現(xiàn)在所說的元數(shù)據(jù)腾啥。不過元數(shù)據(jù)對于數(shù)據(jù)倉庫的意義比‘庫存’對于實際意義上的倉庫大得多东涡。

隨著數(shù)據(jù)倉庫（DW）技術(shù)的不斷成熟，企業(yè)的數(shù)據(jù)逐漸變成了決策的主要依據(jù)倘待。數(shù)據(jù)倉庫中的數(shù)據(jù)是從許多業(yè)務(wù)處理系統(tǒng)中抽取疮跑、轉(zhuǎn)換而來，對于這樣一個復(fù)雜的企業(yè)數(shù)據(jù)環(huán)境凸舵，如何以安全祖娘、高效的方式來對它們進(jìn)行管理和訪問就變得尤為重要。解決這一問題的關(guān)鍵就是建立數(shù)據(jù)倉庫元數(shù)據(jù)庫啊奄，并對這個元數(shù)據(jù)庫進(jìn)行有效的管理渐苏。從某種意義上來說，能否建立并管理好元數(shù)據(jù)菇夸，將決定著數(shù)據(jù)倉庫項目的成敗琼富。

按照傳統(tǒng)的定義，元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)的數(shù)據(jù)庄新。我們可以把它理解為比一般意義的數(shù)據(jù)范疇更加廣泛的數(shù)據(jù)鞠眉。它不再僅僅表示數(shù)據(jù)的類型、名稱择诈、值等信息械蹋，它進(jìn)一步描述了數(shù)據(jù)的上下文描述信息，比如數(shù)據(jù)所屬的區(qū)域羞芍、取值范圍哗戈、數(shù)據(jù)間的關(guān)系、業(yè)務(wù)規(guī)則涩金、甚至ETL規(guī)則谱醇、甚至數(shù)據(jù)的來源信息等。

元數(shù)據(jù)可以看作是數(shù)據(jù)倉庫系統(tǒng)的‘?dāng)?shù)據(jù)字典’步做，但這個數(shù)據(jù)字典比傳統(tǒng)意義上數(shù)據(jù)庫的數(shù)據(jù)字典功能要強(qiáng)大的多副渴。它可以幫助數(shù)據(jù)倉庫管理員和數(shù)據(jù)倉庫的開發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)；并可以回答最終用戶數(shù)據(jù)倉庫中有哪些數(shù)據(jù)全度，這些數(shù)據(jù)從哪里來等重要的問題煮剧。

可將其按用途的不同分為兩類：技術(shù)元數(shù)據(jù)（Technical

Metadata）和業(yè)務(wù)/商業(yè)元數(shù)據(jù)（Business

Metadata）。

[if !supportLists]?[endif]技術(shù)元數(shù)據(jù)

技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫使用的數(shù)據(jù)勉盅，它主要包括以下信息：

[if !supportLists]1）[endif]數(shù)據(jù)倉庫結(jié)構(gòu)的描述佑颇，包括倉庫模式、視圖草娜、維挑胸、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容宰闰；

[if !supportLists]2）[endif]業(yè)務(wù)系統(tǒng)茬贵、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式；

[if !supportLists]3）[endif]匯總用的算法移袍，包括度量和維定義算法解藻，數(shù)據(jù)粒度、主題領(lǐng)域葡盗、聚集螟左、匯總、預(yù)定義的查詢與報告觅够；

[if !supportLists]4）[endif]由操作環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射胶背，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割蔚约、數(shù)據(jù)提取奄妨、清理涂籽、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則苹祟、安全（用戶授權(quán)和存取控制）。

[if !supportLists]?[endif]業(yè)務(wù)/商業(yè)元數(shù)據(jù)

業(yè)務(wù)/商業(yè)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)评雌，它提供了介于使用者和實際系統(tǒng)之間的語義層树枫，使得不懂計算機(jī)技術(shù)的業(yè)務(wù)人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務(wù)/商業(yè)元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型景东、對象名和屬性名砂轻；訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源；系統(tǒng)所提供的分析方法以及公式和報表的信息斤吐；具體包括以下信息：

[if !supportLists]1）[endif]企業(yè)概念/邏輯模型：這是業(yè)務(wù)/商業(yè)元數(shù)據(jù)所應(yīng)提供的重要的信息搔涝，它表示企業(yè)數(shù)據(jù)模型的高層信息、整個企業(yè)的業(yè)務(wù)概念和相互關(guān)系和措。以這個企業(yè)模型為基礎(chǔ)庄呈，不懂?dāng)?shù)據(jù)庫技術(shù)和SQL語句的業(yè)務(wù)人員對數(shù)據(jù)倉庫中的數(shù)據(jù)也能做到心中有數(shù)。

[if !supportLists]2）[endif]多維數(shù)據(jù)模型：這是企業(yè)概念模型的重要組成部分派阱，它告訴業(yè)務(wù)分析人員在數(shù)據(jù)集市當(dāng)中有哪些維诬留、維的類別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。這里的數(shù)據(jù)立方體表示某主題領(lǐng)域業(yè)務(wù)事實表和維表的多維組織形式文兑。

[if !supportLists]3）[endif]業(yè)務(wù)概念模型和物理數(shù)據(jù)之間的映射盒刚、依賴：以上提到的業(yè)務(wù)/商業(yè)元數(shù)據(jù)只是表示出了數(shù)據(jù)的業(yè)務(wù)視圖，這些業(yè)務(wù)視圖與實際的數(shù)據(jù)倉庫或數(shù)據(jù)庫绿贞、多維數(shù)據(jù)庫中的表遵倦、字段掀鹅、維、層次等之間的對應(yīng)關(guān)系也應(yīng)該在元數(shù)據(jù)知識庫中有所體現(xiàn)。

2.1.8 ETL

ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽饶昴（Extract）、清洗轉(zhuǎn)換（Transform）之后加載（Load）到數(shù)據(jù)倉庫的過

程之碗，目的是將企業(yè)中的分散锄奢、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起靡狞，為企業(yè)的決策提供分析依據(jù)耻警。ETL是BI項目重要的一個環(huán)節(jié)。通常情況下甸怕，在BI項目中ETL會花掉整個項目的1/3的時間甘穿，ETL設(shè)計的好壞直接關(guān)接到BI項目的成敗。

ETL的設(shè)計分三部分：數(shù)據(jù)抽取梢杭、數(shù)據(jù)的清洗轉(zhuǎn)換温兼、數(shù)據(jù)的加載。在設(shè)計ETL的時候我們也是從這三部分出發(fā)武契。數(shù)據(jù)的抽取是從各個不同的數(shù)據(jù)源抽取到ODS(OperationalDataStore募判，操作型數(shù)據(jù)存儲)中——這個過程也可

以做一些數(shù)據(jù)的清洗和轉(zhuǎn)換)，在抽取的過程中需要挑選不同的抽取方法咒唆，盡可能的提高ETL的運行效率届垫。ETL三個部分中，花費時間最長的是“T”(Transform全释，清洗装处、轉(zhuǎn)換)的部分，一般情況下這部分工作量是整個ETL的2/3浸船。

數(shù)據(jù)的加載一般在數(shù)據(jù)清洗完了之后直接寫入DW(DataWarehousing妄迁，數(shù)據(jù)倉庫)中去。

ETL的實現(xiàn)有多種方法李命，常用的有三種登淘。一種是借助ETL工具實現(xiàn)，一種是SQL方式實現(xiàn)项戴，另外一種是ETL工具和SQL相結(jié)合形帮。前兩種方法各有各的優(yōu)缺點槽惫，借助工具可以快速的建立起ETL工程，屏蔽了復(fù)雜的編碼任務(wù)辩撑，提高了速度界斜，降低了難度，但是缺少靈活性合冀。SQL的方法優(yōu)點是靈活各薇，提高ETL運行效率，但是編碼復(fù)雜君躺，對技術(shù)要求比較高峭判。第三種是綜合了前面二種的優(yōu)點，會極大地提高ETL的開發(fā)速度和效率棕叫。

現(xiàn)在有很多成熟的工具提供ETL功能林螃，例如PowerCenter、DataStage俺泣、OracleOWB疗认、SQLServer2000的DTS等，且不說他們的好壞伏钠。從應(yīng)用角度來說横漏，ETL的過程其實不是非常復(fù)雜，這些工具給數(shù)據(jù)倉庫工程帶來和很大的便利性熟掂，特別是開發(fā)的便利和維護(hù)的便利缎浇。這些工具為我們提供圖形化界面，讓我們將主要的精力放在規(guī)則上赴肚，以期提高開發(fā)效率素跺。

[if !supportLists]?[endif]數(shù)據(jù)的抽取

這一部分需要在調(diào)研階段做大量的工作，首先要搞清楚數(shù)據(jù)是從哪幾個業(yè)務(wù)系統(tǒng)中來尊蚁，各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫服務(wù)器運行什么DBMS亡笑，是否存在手工數(shù)據(jù)，手工數(shù)據(jù)量有多大横朋，是否存在非結(jié)構(gòu)化的數(shù)據(jù)等等，當(dāng)收集完這些信息之后才可以進(jìn)行數(shù)據(jù)抽取的設(shè)計百拓。

[if !supportLists]1）[endif]對于與存放DW的數(shù)據(jù)庫系統(tǒng)相同的數(shù)據(jù)源處理方法這一類數(shù)據(jù)源在設(shè)計上比較容易琴锭。一般情況下，

DBMS(SQLServer衙传、Oracle)都會提供數(shù)據(jù)庫鏈接功能决帖，在DW數(shù)據(jù)庫服務(wù)器和原業(yè)務(wù)系統(tǒng)之間建立直接的鏈接關(guān)系就可以寫select語句直接訪問。

[if !supportLists]2）[endif]對于與DW數(shù)據(jù)庫系統(tǒng)不同的數(shù)據(jù)源的處理方法對于這一類數(shù)據(jù)源蓖捶，一般情況下也可以通過ODBC的方式建立數(shù)據(jù)庫鏈接——如SQLServer和Oracle之間地回。如果不能建立數(shù)據(jù)庫鏈接，可以有兩種方式完成，一種是通過工具將源數(shù)據(jù)導(dǎo)出成刻像。txt或者是畅买。xls文件，然后再將這些源系統(tǒng)文件導(dǎo)入到ODS中细睡。另外一種方法是通過程序接口來完成谷羞。

[if !supportLists]3）[endif]對于文件類型數(shù)據(jù)源(。txt溜徙，湃缎。xls)，可以培訓(xùn)業(yè)務(wù)人員利用數(shù)據(jù)庫工具將這些數(shù)據(jù)導(dǎo)入到指定的數(shù)據(jù)庫蠢壹，然后從指定的數(shù)據(jù)庫中抽取嗓违。或者還可以借助工具實現(xiàn)图贸，如PowerCenter靠瞎、DataStage的平面數(shù)據(jù)源和平面目標(biāo)等組件導(dǎo)入ODS中去。

[if !supportLists]4）[endif]增量更新的問題對于數(shù)據(jù)量大的系統(tǒng)求妹，必須考慮增量抽取乏盐。一般情況下，業(yè)務(wù)系統(tǒng)會記錄業(yè)務(wù)發(fā)生的時間制恍，我們可以用來做增量的標(biāo)志父能，每次抽取之前首先判斷ODS中記錄最大的時間，然后根據(jù)這個時間去業(yè)務(wù)系統(tǒng)取大于這個時間所有的記錄净神。

[if !supportLists]?[endif]數(shù)據(jù)的清洗轉(zhuǎn)換

一般情況下何吝，數(shù)據(jù)倉庫分為ODS、DW兩部分鹃唯。通常的做法是從業(yè)務(wù)系統(tǒng)到ODS做清洗爱榕，將臟數(shù)據(jù)和不完整數(shù)據(jù)過濾掉，在從ODS到DW的過程中轉(zhuǎn)換坡慌，進(jìn)行一些業(yè)務(wù)規(guī)則的計算和聚合黔酥。

2數(shù)據(jù)清洗

數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門洪橘，確認(rèn)是否過濾掉還是由

業(yè)務(wù)單位修正之后再進(jìn)行抽取跪者。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)熄求、重復(fù)的數(shù)據(jù)三大類渣玲。

(1)不完整的數(shù)據(jù)：這一類數(shù)據(jù)主要是一些應(yīng)該有的信息缺失，如供應(yīng)商的名稱弟晚、分公司的名稱忘衍、客戶的區(qū)域信息缺失逾苫、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等。對于這一類數(shù)據(jù)過濾出來枚钓，按缺失的內(nèi)容分別向客戶提交铅搓，要求在規(guī)定的時間內(nèi)補(bǔ)全。補(bǔ)全后才寫入數(shù)據(jù)倉庫秘噪。

(2)錯誤的數(shù)據(jù)：這一類錯誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全狸吞，在接收輸入后沒有進(jìn)行判斷直接寫入后臺數(shù)據(jù)庫造成的，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符指煎、字符串?dāng)?shù)據(jù)后面有一個回車操作蹋偏、日期格式不正確、日期越界等至壤。

這一類數(shù)據(jù)也要分類威始，對于類似于全角字符、數(shù)據(jù)前后有不可見字符的問題像街，只能通過寫SQL語句的方式找出來黎棠，然后要求客戶在業(yè)務(wù)系統(tǒng)修正之后抽取。日期格式不正確的或者是日期越界的這一類錯誤會導(dǎo)致ETL運行失

敗镰绎，這一類錯誤需要去業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫用SQL的方式挑出來脓斩，交給業(yè)務(wù)主管部門要求限期修正，修正之后再抽取畴栖。

(3)重復(fù)的數(shù)據(jù)：對于這一類數(shù)據(jù)——特別是維表中會出現(xiàn)這種情況——將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)出來随静，讓客戶確認(rèn)并整理。

數(shù)據(jù)清洗是一個反復(fù)的過程吗讶，不可能在幾天內(nèi)完成燎猛，只有不斷的發(fā)現(xiàn)問題，解決問題照皆。對于是否過濾重绷，是否修正一般要求客戶確認(rèn)，對于過濾掉的數(shù)據(jù)寫入數(shù)據(jù)表膜毁，在ETL開發(fā)的初期可以每天向業(yè)務(wù)單位發(fā)送過濾數(shù)據(jù)的郵件昭卓，促使他們盡快地修正錯誤，同時也可以做為將來驗證數(shù)據(jù)的依據(jù)爽茴。數(shù)據(jù)清洗需要注意的是不要將有用的數(shù)據(jù)過濾掉葬凳，對于每個過濾規(guī)則認(rèn)真進(jìn)行驗證，并要用戶確認(rèn)室奏。

2數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換劲装，以及一些商務(wù)規(guī)則的計算胧沫。

(1)不一致數(shù)據(jù)轉(zhuǎn)換：這個過程是一個整合的過程昌简，將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一，比如同一個供應(yīng)商在結(jié)算系統(tǒng)的編碼是XX0001绒怨，而在CRM中編碼是YY0001纯赎，這樣在抽取過來之后統(tǒng)一轉(zhuǎn)換成一個編碼。

(2)數(shù)據(jù)粒度的轉(zhuǎn)換：業(yè)務(wù)系統(tǒng)一般存儲非常明細(xì)的數(shù)據(jù)南蹂，而數(shù)據(jù)倉庫中數(shù)據(jù)是用來分析的犬金，不需要非常明細(xì)的數(shù)據(jù)。一般情況下六剥，會將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫粒度進(jìn)行聚合晚顷。

(3)商務(wù)規(guī)則的計算：不同的企業(yè)有不同的業(yè)務(wù)規(guī)則、不同的數(shù)據(jù)指標(biāo)疗疟，這些指標(biāo)有的時候不是簡單的加加減減就能完成该默，這個時候需要在ETL中將這些數(shù)據(jù)指標(biāo)計算好了之后存儲在數(shù)據(jù)倉庫中，以供分析使用策彤。

[if !supportLists]?[endif]ETL日志栓袖、警告發(fā)送

[if !supportLists]2[endif]ETL日志

ETL日志分為三類。一類是執(zhí)行過程日志店诗，這一部分日志是在ETL執(zhí)行過程中每執(zhí)行一步的記錄裹刮，記錄每次運行每一步驟的起始時間，影響了多少行數(shù)據(jù)庞瘸，流水賬形式捧弃。一類是錯誤日志，當(dāng)某個模塊出錯的時候?qū)戝e誤日志恕洲，記錄每次出錯的時間塔橡、出錯的模塊以及出錯的信息等。第三類日志是總體日志霜第，只記錄ETL開始時間葛家、結(jié)束時間是否成功信息。如果使用ETL工具泌类，ETL工具會自動產(chǎn)生一些日志癞谒，這一類日志也可以作為ETL日志的一部分。記錄日志的目的是隨時可以知道ETL運行情況刃榨，如果出錯了弹砚，可以知道哪里出錯。

[if !supportLists]2[endif]警告發(fā)送

如果ETL出錯了枢希，不僅要形成ETL出錯日志桌吃，而且要向系統(tǒng)管理員發(fā)送警告。發(fā)送警告的方式多種苞轿，一般常用的就是給系統(tǒng)管理員發(fā)送郵件茅诱，并附上出錯的信息逗物，方便管理員排查錯誤。

[if !supportLists]?[endif]ETL數(shù)據(jù)加載策略

下面提到的數(shù)據(jù)加載策略以O(shè)LTP系統(tǒng)作為源系統(tǒng)瑟俭，并進(jìn)行ETL數(shù)據(jù)加載到數(shù)據(jù)倉庫系統(tǒng)中所采用的一般數(shù)據(jù)加載策略翎卓。

根據(jù)該方式的特定性，此時ETL數(shù)據(jù)加載一般存在以下四種方案：

1)摆寄、時戳方式需要在OLTP系統(tǒng)中業(yè)務(wù)表中統(tǒng)一添加時間字段作為時戳（如表中已有相應(yīng)的時間字段失暴，可以不必添加），每當(dāng)OLTP系統(tǒng)中更新修改業(yè)務(wù)數(shù)據(jù)時微饥，同時修改時戳字段值逗扒。當(dāng)作ETL加載時，通過系統(tǒng)時間與時戳字段的比較來決定進(jìn)行何種數(shù)據(jù)抽取畜号。

優(yōu)點：ETL系統(tǒng)設(shè)計清晰缴阎，源數(shù)據(jù)抽取相對清楚簡單，速度快简软÷危可以實現(xiàn)數(shù)據(jù)的遞增加載。缺點：時戳維護(hù)需要由OLTP系統(tǒng)完成痹升，需要修改原OLTP系統(tǒng)中業(yè)務(wù)表結(jié)構(gòu)建炫；且所有添加時戳的表，在業(yè)務(wù)系統(tǒng)中疼蛾，數(shù)據(jù)發(fā)生變化時肛跌，同時更新時戳字段，需要對原OLTP系統(tǒng)業(yè)務(wù)操作程序作修改察郁，工作量大衍慎，改動面大，風(fēng)險大皮钠。

2)稳捆、日志表方式在OLTP系統(tǒng)中添加系統(tǒng)日志表，當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時麦轰，更新維護(hù)日志表內(nèi)容乔夯，當(dāng)作ETL加載時，通過讀日志表數(shù)據(jù)決定加載那些數(shù)據(jù)及如何加載款侵。

優(yōu)點：不需要修改OLTP表結(jié)構(gòu)末荐，源數(shù)據(jù)抽取清楚，速度較快新锈〖自啵可以實現(xiàn)數(shù)據(jù)的遞增加載。缺點：日志表維護(hù)需要由OLTP系統(tǒng)完成，需要對OLTP系統(tǒng)業(yè)務(wù)操作程序作修改剃幌，記錄日志信息聋涨。日志表維護(hù)較為麻煩晾浴，對原有系統(tǒng)有較大影響负乡。工作量較大，改動較大脊凰。有一定風(fēng)險抖棘。

3)、全表比對方式在ETL過程中狸涌，抽取所有源數(shù)據(jù)切省，并進(jìn)行相應(yīng)規(guī)則轉(zhuǎn)換，完成后先不插入目標(biāo)帕胆，而對每條數(shù)據(jù)進(jìn)行目標(biāo)表比對朝捆。根據(jù)主鍵值進(jìn)行插入與更新的判定，目標(biāo)表已存在該主鍵值的懒豹，表示該記錄已有芙盘，并進(jìn)行其余字段比對，如有不同脸秽，進(jìn)行Update操作儒老，如目標(biāo)表沒有存在該主鍵值，表示該記錄還沒有记餐，即進(jìn)行Insert操作驮樊。

優(yōu)點：對已有系統(tǒng)表結(jié)構(gòu)不產(chǎn)生影響，不需要修改業(yè)務(wù)操作程序片酝，所有抽取規(guī)則由ETL完成囚衔，管理維護(hù)統(tǒng)一，可以實現(xiàn)數(shù)據(jù)的遞增加載雕沿。沒有風(fēng)險练湿。缺點：ETL比對較復(fù)雜，設(shè)計較為復(fù)雜晦炊，速度較慢

4)鞠鲜、全表刪除插入方式每次ETL操作均刪除目標(biāo)表數(shù)據(jù)，由ETL全新加載數(shù)據(jù)断国。

優(yōu)點：ETL加載規(guī)則簡單贤姆，速度快。缺點：對于維表加代理鍵不適應(yīng)稳衬，當(dāng)OLTP系統(tǒng)產(chǎn)生刪除數(shù)據(jù)操作時霞捡，

OLAP層將不會記錄到所刪除的歷史數(shù)據(jù)。不可以實現(xiàn)數(shù)據(jù)的遞增加載薄疚。

當(dāng)作系統(tǒng)數(shù)據(jù)加載策略方案時碧信，基于以上所列方法赊琳，及現(xiàn)有系統(tǒng)考慮：

[if !supportLists]1）[endif]、如果所集成OLTP系統(tǒng)為其他產(chǎn)商產(chǎn)品砰碴，則應(yīng)盡量的降低因ETL而對現(xiàn)有系統(tǒng)產(chǎn)生的影響躏筏，及系統(tǒng)風(fēng)險性。而性能的影響則可以通過兩方面解決呈枉，一部分由硬件的升級進(jìn)行解決趁尼，因為ETL除讀表及寫表操作外，所有轉(zhuǎn)換均由ETL服務(wù)器在內(nèi)存中完成猖辫，故高配置服務(wù)器將大大提升ETL運行速度酥泞；一部分由加載時機(jī)進(jìn)行控制，加載時機(jī)采取在系統(tǒng)較為空閑時加載啃憎，同時并行多個加載等芝囤，可以降低對運行系統(tǒng)的影響。所以可以使用全表比對遞增加載數(shù)據(jù)的方式作為此類系統(tǒng)的ETL數(shù)據(jù)加載規(guī)則辛萍。

[if !supportLists]2）[endif]悯姊、如果原OLTP系統(tǒng)為自己開發(fā)產(chǎn)品，此次所作OLAP系統(tǒng)為在原系統(tǒng)上的系統(tǒng)叹阔，則可以考慮使用時輟或日志表方式挠轴，區(qū)別僅為對原系統(tǒng)的影響大小。

[if !supportLists]3）[endif]耳幢、當(dāng)數(shù)據(jù)實現(xiàn)遞增加載時岸晦，OLAP系統(tǒng)中的聚合表，可由OLAP中的事實表數(shù)據(jù)二次ETL產(chǎn)生睛藻，此時由于

OLAP數(shù)據(jù)的完整性與準(zhǔn)確性启上，可以使用全表刪除插入方式。

?流行的ETL工具

Informatica PowerCenterIBM DataStageOracleOWBBusiness Object DI

2.1.9 OLAP

60年代店印，關(guān)系數(shù)據(jù)庫之父E冈在。F。Cdd提出了關(guān)系模型按摘，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲)包券。1993年，E炫贤。F溅固。Cdd提出了OLAP概念，認(rèn)為OLTP已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要兰珍，SQL對大型數(shù)據(jù)庫進(jìn)行的簡單查詢也不能滿足終端用戶分析的要求侍郭。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進(jìn)行大量計算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此亮元，E猛计。F。Cdd提出了多維數(shù)據(jù)庫和多維分析的概念爆捞，即OLAP奉瘤。

OLAP(聯(lián)機(jī)分析處理，On-LineAnalyticalProcessing)：是使分析人員嵌削、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的毛好、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進(jìn)行快速苛秕、一致、交互地存取找默，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)艇劫。

OLAP的目標(biāo)：是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“維”這個概念惩激，因此

OLAP也可以說是多維數(shù)據(jù)分析工具的集合店煞。

OLTP與OLAP的不同點：

OLTP數(shù)據(jù)OLAP數(shù)據(jù)

原始數(shù)據(jù)導(dǎo)出數(shù)據(jù)

細(xì)節(jié)性數(shù)據(jù)綜合性和提煉性數(shù)據(jù)

當(dāng)前值數(shù)據(jù)歷史數(shù)據(jù)

可更新不可更新，但周期性刷新

一次處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大

面向應(yīng)用风钻，事務(wù)驅(qū)動面向分析顷蟀，分析驅(qū)動

面向操作人員，支持日常操作面向決策人員骡技，支持管理需要

OLAP相關(guān)基本概念

維：是人們觀察數(shù)據(jù)的特定角度鸣个，是考慮問題時的一類屬性，屬性集合構(gòu)成一個維(時間維布朦、地理維等)囤萤。維的層次：人們觀察數(shù)據(jù)的某個特定角度(即某個維)還可以存在細(xì)節(jié)程度不同的各個描述方面(時間維：日期、月份是趴、季度涛舍、年)。

維的成員：維的一個取值唆途。是數(shù)據(jù)項在某維中位置的描述富雅。(“某年某月某日”是在時間維上位置的描述)多維數(shù)組：維和變量的組合表示。一個多維數(shù)組可以表示為：(維1肛搬，維2没佑，……，維n滚婉，變量) (時間图筹，地區(qū)，產(chǎn)品，銷售額)

數(shù)據(jù)單元(單元格)：多維數(shù)組的取值远剩。(2000年1月扣溺，上海，筆記本電腦瓜晤，$100000)

快速性：用戶對OLAP的快速反應(yīng)能力有很高的要求锥余。系統(tǒng)應(yīng)能在5秒內(nèi)對用戶的大部分分析要求做出反應(yīng)。如果終端用戶在30秒內(nèi)沒有得到系統(tǒng)響應(yīng)就會變得不耐煩痢掠，因而可能失去分析主線索驱犹，影響分析質(zhì)量。對于大量的數(shù)據(jù)分析要達(dá)到這個速度并不容足画，因此就更需要一些技術(shù)上的支持雄驹，如專門的數(shù)據(jù)存儲格式、大量的事先運算淹辞、特別的硬件設(shè)計等医舆。

可分析性：OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計分析。盡管系統(tǒng)需要事先編程象缀，但并不意味著系統(tǒng)已定義好了所有的應(yīng)用蔬将。用戶無需編程就可以定義新的專門計算，將其作為分析的一部分央星，并以用戶理想的方式給出報告霞怀。用戶可以在OLAP平臺上進(jìn)行數(shù)據(jù)分析，也可以連接到其他外部分析工具上莉给，如時間序列分析工具毙石、成本分配工具、意外報警禁谦、數(shù)據(jù)開采等胁黑。

多維性：多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析州泊，包括對層次維和多重層次維的完全支持丧蘸。

信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處遥皂，OLAP系統(tǒng)應(yīng)能及時獲得信息力喷，并且管理大容量信息。這里有許多因素需要考慮演训，如數(shù)據(jù)的可復(fù)制性弟孟、可利用的磁盤空間、OLAP產(chǎn)品的性能及與數(shù)據(jù)倉庫的結(jié)合度等样悟。

OLAP多維數(shù)據(jù)結(jié)構(gòu)

超立方結(jié)構(gòu)(Hypercube)：超立方結(jié)構(gòu)指用三維或更多的維數(shù)來描述一個對象拂募，每個維彼此垂直庭猩。數(shù)據(jù)的測量值發(fā)生在維的交叉點上，數(shù)據(jù)空間的各個部分都有相同的維屬性陈症。(超立方結(jié)構(gòu)有一種變形蔼水，即收縮超立方結(jié)構(gòu)。這種結(jié)構(gòu)的數(shù)據(jù)密度更大录肯，數(shù)據(jù)的維數(shù)更少趴腋，并可加入額外的分析維)。

多立方結(jié)構(gòu)(Multicube)：即將超立方結(jié)構(gòu)變?yōu)樽恿⒎浇Y(jié)構(gòu)论咏。面向某一特定應(yīng)用對維進(jìn)行分割优炬，它具有很強(qiáng)的靈活性，提高了數(shù)據(jù)(特別是稀疏數(shù)據(jù))的分析效率厅贪。

一般來說蠢护，多立方結(jié)構(gòu)靈活性較大，但超立方結(jié)構(gòu)更易于理解卦溢。終端用戶更容易接近超立方結(jié)構(gòu)糊余，它可以提供高水平的報告和多維視圖。但具有多維分析經(jīng)驗的MIS專家更喜歡多立方結(jié)構(gòu)单寂，因為它具有良好的視圖翻轉(zhuǎn)性和靈活性。多立方結(jié)構(gòu)是存儲稀疏矩陣的一個更有效方法吐辙，并能減少計算量宣决。因此，復(fù)雜的系統(tǒng)及預(yù)先建立的通用應(yīng)用傾向于使用多立方結(jié)構(gòu)昏苏，以使數(shù)據(jù)結(jié)構(gòu)能更好地得到調(diào)整尊沸，滿足常用的應(yīng)用需求。許多產(chǎn)品結(jié)合了上述兩種結(jié)構(gòu)贤惯，它們的數(shù)據(jù)物理結(jié)構(gòu)是多立方結(jié)構(gòu)洼专，但卻利用超立方結(jié)構(gòu)來進(jìn)行計算溅蛉，結(jié)合了超立方結(jié)構(gòu)的簡化性和多立方結(jié)構(gòu)的旋轉(zhuǎn)存儲特性乘凸。

OLAP多維數(shù)據(jù)分析

切片和切塊(SliceandDice)：多維數(shù)據(jù)結(jié)構(gòu)中，在一部分維上選定值后七问，關(guān)心度量數(shù)據(jù)在剩余維上的分布颈墅，如果剩余的維只有兩個蜡镶，則是切片；如果有三個恤筛，則是切塊官还。如在“城市、產(chǎn)品毒坛、時間”三維立方體中進(jìn)行切塊和切片望伦，可得到各城市林说、各產(chǎn)品的銷售情況。

鉆取(Drill)：它是改變維的層次屯伞，變換分析的粒度腿箩。鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up)操作，rollup是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)愕掏，或者減少維數(shù)度秘；而drilldown則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維饵撑。

旋轉(zhuǎn)(Rotate)/轉(zhuǎn)軸(Pivot)：旋轉(zhuǎn)是變換維的方向剑梳，即在表格中重新安排維的放置（例如行列互換）。通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)滑潘。

OLAP的多種實現(xiàn)方法

OLAP的實現(xiàn)方法垢乙，根據(jù)存儲數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP语卤、HOLAP：

ROLAP表示基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn)（Relational OLAP）追逮。以關(guān)系數(shù)據(jù)庫為核心，以關(guān)系型結(jié)構(gòu)進(jìn)行多維數(shù)據(jù)的表示和存儲粹舵。ROLAP將多維數(shù)據(jù)庫的多維結(jié)構(gòu)劃分為兩類表：一類是事實表钮孵，用來存儲數(shù)據(jù)和維關(guān)鍵字；另一類是維表眼滤，即對每個維至少使用一個表來存放維的層次巴席、成員類別等維的描述信息。維表和事實表通過主關(guān)鍵字和外關(guān)鍵字聯(lián)系在一起诅需，形成了“星型模型”漾唉。對于層次復(fù)雜的維，為避免冗余數(shù)據(jù)占用過大的存儲空間堰塌，可以使用多個表來描述赵刑，這種星型模型的擴(kuò)展稱為“雪花模型”。

MOLAP表示基于多維數(shù)據(jù)組織的OLAP實現(xiàn)（Multi-Dimensional OLAP）场刑。以多維數(shù)據(jù)組織方式為核心般此，也就是說，MOLAP使用多維數(shù)組存儲數(shù)據(jù)摇邦。多維數(shù)據(jù)在存儲中將形成“立方塊（Cube）”的結(jié)構(gòu)恤煞，在MOLAP中對立方塊的“旋轉(zhuǎn)”、“切塊”施籍、“切片”是產(chǎn)生多維數(shù)據(jù)報表的主要技術(shù)居扒。

HOLAP表示基于混合數(shù)據(jù)組織的OLAP實現(xiàn)（HybridOLAP）。如低層是關(guān)系型的丑慎，高層是多維矩陣型的喜喂。這種方式具有更好的靈活性瓤摧。

還有其他的一些實現(xiàn)OLAP的方法，如提供一個專用的SQLServer玉吁，對某些存儲模式（如星型照弥、雪片型）提供對SQL查詢的特殊支持。

2.1.10多維數(shù)據(jù)庫

多維數(shù)據(jù)庫（Multi-Dimesional Database进副，MDD）可以簡單地理解為：將數(shù)據(jù)存放在一個n維數(shù)組中这揣，而不

是像關(guān)系數(shù)據(jù)庫那樣以記錄的形式存放。因此它存在大量稀疏矩陣影斑，人們可以通過多維視圖來觀察數(shù)據(jù)给赞。多維數(shù)據(jù)庫增加了一個時間維，與關(guān)系數(shù)據(jù)庫相比矫户，它的優(yōu)勢在于可以提高數(shù)據(jù)處理速度片迅，加快反應(yīng)時間，提高查詢效率皆辽。

目前有兩種MDD的OLAP產(chǎn)品：基于多維數(shù)據(jù)庫的MOLAP和基于關(guān)系數(shù)據(jù)庫的ROLAP柑蛇。ROLAP建立了一種新的體系，即星型結(jié)構(gòu)驱闷。

MDD并沒有公認(rèn)的多維模型耻台，也沒有像關(guān)系模型那樣標(biāo)準(zhǔn)地取得數(shù)據(jù)的方法(如SQL、API等)空另≌澄遥基于MDD的OLAP產(chǎn)品，依據(jù)決策支持的內(nèi)容使用范圍也有很大的不同痹换。

在低端，用戶使用基于單用戶或小型LAN的工具來觀察多維數(shù)據(jù)都弹。這些工具的功能性和實用性可能相當(dāng)不錯娇豫，但由于受到規(guī)模的限制，它們不具備OLAP的所有特性畅厢。這些工具使用超立方結(jié)構(gòu)冯痢，將模型限制在n維形態(tài)。當(dāng)模型足夠大且稀疏數(shù)據(jù)沒有控制好時框杜，這種模型將會不堪一擊浦楣。這些工具使用數(shù)據(jù)庫的大小是以MB來計量的，而不是以GB計量的咪辱，因此只能進(jìn)行只讀操作振劳，且具備有限的復(fù)雜計算。

在高端油狂，OLAP工具用4GL提供了完善的開發(fā)環(huán)境历恐、統(tǒng)計分析寸癌、時間序列分析、財政報告弱贼、用戶接口蒸苇、多層體系結(jié)構(gòu)、圖表等許多其他功能吮旅。盡管不同的OLAP工具都使用了它們自己的多維數(shù)據(jù)庫溪烤，但它們在不同程度上也利用了關(guān)系數(shù)據(jù)庫作為存儲媒體。因為關(guān)系數(shù)據(jù)庫和OLAP工具同時在高端服務(wù)器上處理庇勃，所以速度和效率仍然很快檬嘀。

純多維數(shù)據(jù)庫引擎也被開發(fā)出來。盡管這些工具缺乏4GL及充分的開發(fā)環(huán)境匪凉，但卻有比高端MDD工具所使用的數(shù)據(jù)庫更為復(fù)雜的數(shù)據(jù)庫枪眉。這些工具也具有統(tǒng)計分析、財務(wù)分析和時間序列分析等功能再层，并有自己的API贸铜，允許其對前端的開發(fā)環(huán)境開放。

MDD能提供優(yōu)良的查詢性能聂受。存儲在MDD中的信息比在關(guān)系數(shù)據(jù)庫中的信息具有更詳細(xì)的索引蒿秦，可以常駐在內(nèi)存中。MDD的信息是以數(shù)組形式存放的蛋济，所以它可以在不影響索引的情況下更新數(shù)據(jù)棍鳖。因此MDD非常適合于讀寫應(yīng)用。

流行的OLAP工具

Hyperion EssbaseIBM DB2 OLAP ServerBrioMicroStrategy

Oracle ExpressMicrosoft analysis servicesCognosBusiness Object

2.2數(shù)據(jù)倉庫架構(gòu)

目前來說碗旅，數(shù)據(jù)倉庫架構(gòu)比較成熟并已經(jīng)形成理論的主要有兩個渡处，一個是Corporate Information Factory，簡稱CIF祟辟，中文一般翻譯為企業(yè)信息工廠医瘫，代表人物是BillInmon。另一個是Mutil-Dimensional Architecture旧困，簡稱

MD醇份，中文一般翻譯為多維體系結(jié)構(gòu)，代表人物是RalphKimball吼具。

企業(yè)信息工廠主要包括集成轉(zhuǎn)換層（Integratedand Transformation Layer）僚纷、操作數(shù)據(jù)存儲（Operational

DataStore）、數(shù)據(jù)倉庫（Enterprise Data Warehouse）拗盒、數(shù)據(jù)集市（Data

Mart）怖竭、探索倉庫（Exploration Warehouse）等部件。

多維體系結(jié)構(gòu)分為后臺（Back

Room）和前臺（Front Room）兩部分锣咒。后臺主要負(fù)責(zé)數(shù)據(jù)準(zhǔn)備工作侵状，稱為數(shù)據(jù)準(zhǔn)備區(qū)（StagingArea）赞弥，前臺主要負(fù)責(zé)數(shù)據(jù)展示工作，稱為數(shù)據(jù)集市（DataMart）趣兄。而數(shù)據(jù)倉庫是一個虛擬的部件绽左，它指的是全部數(shù)據(jù)集市的集合。

兩個數(shù)據(jù)倉庫架構(gòu)各有優(yōu)缺點艇潭，一種比較流行的做法是合用兩種架構(gòu)拼窥，即建立CIF的數(shù)據(jù)倉庫和MD的數(shù)據(jù)集市。

HWBIS系統(tǒng)架構(gòu)

華為BIS系統(tǒng)采用的就是合用CIF數(shù)據(jù)倉庫和MD數(shù)據(jù)集市的架構(gòu)蹋凝。

技術(shù)架構(gòu)

三層架構(gòu)模型將傳統(tǒng)操作業(yè)務(wù)切分成幾個層次鲁纠，每個層次提供不同的相關(guān)服務(wù)，如DB服務(wù)鳍寂、應(yīng)用服務(wù)改含、

Web服務(wù)等。三層架構(gòu)為系統(tǒng)提供了復(fù)雜應(yīng)用操作迄汛，同時提供對現(xiàn)有應(yīng)用集成及今后應(yīng)用擴(kuò)展強(qiáng)有力的支持捍壤，增強(qiáng)了安全機(jī)制，提高了性能鞍爱，并提供對LDAP目錄服務(wù)的支持鹃觉。

[if !vml]

[endif]

三層架構(gòu)包括數(shù)據(jù)庫層，應(yīng)用服務(wù)器層睹逃，用戶終端層盗扇。其中數(shù)據(jù)庫層，采用Unix平臺上的Oracle9i系統(tǒng)作為數(shù)據(jù)庫服務(wù)器沉填。Oracle作為最先進(jìn)的數(shù)據(jù)庫產(chǎn)品疗隶，具有性能優(yōu)越，工作穩(wěn)定可靠翼闹，適合數(shù)據(jù)倉庫系統(tǒng)要求的海量數(shù)據(jù)存儲的需要抽减。應(yīng)用服務(wù)器層運行包括ETL服務(wù)（抽取，轉(zhuǎn)換橄碾，加載），元數(shù)據(jù)服務(wù)颠锉，Reporting服務(wù)法牲，

Portal服務(wù)，OLAP服務(wù)等五種應(yīng)用琼掠。用戶終端層只需通過瀏覽器拒垃，訪問華為業(yè)務(wù)智能系統(tǒng)各應(yīng)用。

ETL服務(wù)器采用CA的ADTEMEServer瓷蛙，它可以同時連接多達(dá)64個不同的數(shù)據(jù)源悼瓮。對華為來說戈毒，這些數(shù)據(jù)源包括Notes，SQLServer横堡，Oracle埋市，Textfile等。這些數(shù)據(jù)通過ADTServer進(jìn)行加工轉(zhuǎn)換后命贴，進(jìn)入到數(shù)據(jù)倉庫中道宅。

OLAP分析主要采用MSOLAP與BO相結(jié)合的方式。BO作為前端可以進(jìn)行鉆取胸蛛，切片污茵，旋轉(zhuǎn)等多維分析操作，而MSOLAP則存放CUBE葬项。這種方式可以將運算操作集中于Cube服務(wù)器泞当，而Client端無需將Cube下載到本地，節(jié)約了空間民珍，減少了網(wǎng)絡(luò)負(fù)載襟士，同時提高了數(shù)據(jù)展現(xiàn)的效率。通過BO的Universe方式穷缤，還可以進(jìn)行靈活的查詢敌蜂，生成固定格式的報表。

由于有不少的數(shù)據(jù)來源于紙面或某些數(shù)據(jù)需要調(diào)整津肛，所以需要一個補(bǔ)錄系統(tǒng)來輸入這些數(shù)據(jù)章喉，并可以維護(hù)這些數(shù)據(jù)。補(bǔ)錄系統(tǒng)采用JSP方式或Java方式進(jìn)行開發(fā)身坐，遵循J2EE架構(gòu)秸脱，可以采用的應(yīng)用服務(wù)器包括Oracle

Form Server，WebLogic部蛇，Websphere摊唇。

以上的前端應(yīng)用均可實現(xiàn)Web方式的訪問，只不過還需配置BO WebServer和WebServer涯鲁。整個過程中產(chǎn)生的模型通過模型管理工具Erwin和ModelMart進(jìn)行管理巷查。

元數(shù)據(jù)由Repository進(jìn)行管理。通過Data Shopper抹腿，最終用戶可以方便地瀏覽元數(shù)據(jù)岛请。通過Repository

Client，管理人員可以方便地對元數(shù)據(jù)進(jìn)行管理和維護(hù)警绩。

數(shù)據(jù)架構(gòu)

從5個層次來設(shè)計華為數(shù)據(jù)倉庫環(huán)境的數(shù)據(jù)架構(gòu)崇败，數(shù)據(jù)儲存、模式、各主題的數(shù)據(jù)概念模型后室、邏輯模型和物理模型缩膝，各主題的數(shù)據(jù)概念模型、邏輯模型和物理模型在數(shù)據(jù)架構(gòu)設(shè)計中實現(xiàn)岸霹。

整個數(shù)據(jù)倉庫環(huán)境分為4個數(shù)據(jù)區(qū)疾层，即數(shù)據(jù)源區(qū)，數(shù)據(jù)倉庫區(qū)松申，OLAP區(qū)和元數(shù)據(jù)區(qū)云芦。數(shù)據(jù)倉庫從物理上分

又為4個區(qū)：數(shù)據(jù)準(zhǔn)備區(qū)（Staging Area），當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)區(qū)（ODS）贸桶，細(xì)節(jié)數(shù)據(jù)（Base Line）舅逸，數(shù)據(jù)集市

（Data

Mart）。

HWBIS數(shù)據(jù)倉庫環(huán)境的數(shù)據(jù)儲存架構(gòu)

[if !vml]

[endif]

Staging區(qū)：對存儲空間的要求是臨時的皇筛，且是暫時存放每天從OLTP系統(tǒng)抽取的變更的數(shù)據(jù)琉历。

ODS區(qū)，存放兩部分?jǐn)?shù)據(jù)水醋，一部分是當(dāng)前變更的數(shù)據(jù)旗笔，一部分是存放從OLTP抽取的歷史數(shù)據(jù)。

BaseLine區(qū)拄踪，該區(qū)存放經(jīng)過轉(zhuǎn)換后的細(xì)節(jié)數(shù)據(jù)蝇恶。

DataMart區(qū)，該區(qū)存放匯總數(shù)據(jù)惶桐。