目錄
一失都、什么是數(shù)據(jù)倉(cāng)庫(kù)
二、數(shù)據(jù)集成：ETL
三幸冻、主流的數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介

一粹庞、什么是數(shù)據(jù)倉(cāng)庫(kù)

我們先從一個(gè)故事開始:
在很久很久以前，世界上生活著許多種族洽损，有人類庞溜，有矮人，有精靈......他們有著不同的信仰碑定，不同的文化流码，彼此相安無(wú)事⊙恿酰可是漫试，有一個(gè)心機(jī)男卻偏偏想要統(tǒng)治整個(gè)世界。如何統(tǒng)治這么多不同文化信仰的種族呢碘赖？心機(jī)男想出一個(gè)餿主意驾荣，打造出幾枚擁有魔力的戒指外构，免費(fèi)送給不同種族的領(lǐng)袖，讓他們可以更好地統(tǒng)治各自的族人播掷。

當(dāng)各個(gè)種族的領(lǐng)袖美滋滋地戴上各自的魔戒审编，走上人生巔峰的時(shí)候，心機(jī)男又打造出一枚獨(dú)一無(wú)二的至尊魔戒歧匈。他利用至尊魔戒的力量控制了所有的魔戒垒酬，從而控制了各個(gè)種族的領(lǐng)袖，繼而控制了整個(gè)世界件炉。
這個(gè)故事告訴我們：數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)之間的關(guān)系勘究。

如果說(shuō)，那個(gè)世界的每一個(gè)生命個(gè)體都是一條數(shù)據(jù)記錄妻率，那么普通的魔戒的地位就好比是數(shù)據(jù)庫(kù)乱顾，而至尊魔戒的地位就好比是數(shù)據(jù)倉(cāng)庫(kù)。

所以什么是數(shù)據(jù)倉(cāng)庫(kù)呢宫静？
數(shù)據(jù)倉(cāng)庫(kù)，英文名稱Data Warehouse券时，簡(jiǎn)寫為DW孤里。數(shù)據(jù)倉(cāng)庫(kù)顧名思義，是一個(gè)很大的數(shù)據(jù)存儲(chǔ)集合橘洞，出于企業(yè)的分析性報(bào)告和決策支持目的而創(chuàng)建捌袜，對(duì)多樣的業(yè)務(wù)數(shù)據(jù)進(jìn)行篩選與整合。它為企業(yè)提供一定的BI（商業(yè)智能）能力炸枣，指導(dǎo)業(yè)務(wù)流程改進(jìn)虏等、監(jiān)視時(shí)間、成本适肠、質(zhì)量以及控制霍衫。

數(shù)據(jù)倉(cāng)庫(kù)的輸入方是各種各樣的數(shù)據(jù)源，最終的輸出用于企業(yè)的數(shù)據(jù)分析侯养、數(shù)據(jù)挖掘敦跌、數(shù)據(jù)報(bào)表等方向。

業(yè)務(wù)流程

那么逛揩，數(shù)據(jù)倉(cāng)庫(kù)都有什么特點(diǎn)呢柠傍？

1.主題性

不同于傳統(tǒng)數(shù)據(jù)庫(kù)對(duì)應(yīng)于某一個(gè)或多個(gè)項(xiàng)目，數(shù)據(jù)倉(cāng)庫(kù)根據(jù)使用者實(shí)際需求辩稽，將不同數(shù)據(jù)源的數(shù)據(jù)在一個(gè)較高的抽象層次上做整合惧笛，所有數(shù)據(jù)都圍繞某一主題來(lái)組織。

這里的主題怎么來(lái)理解呢逞泄？比如對(duì)于滴滴出行患整，“司機(jī)行為分析”就是一個(gè)主題静檬，對(duì)于鏈家網(wǎng)，“成交分析”就是一個(gè)主題并级。

2.集成性

數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的數(shù)據(jù)是來(lái)源于多個(gè)數(shù)據(jù)源的集成拂檩，原始數(shù)據(jù)來(lái)自不同的數(shù)據(jù)源，存儲(chǔ)方式各不相同嘲碧。要整合成為最終的數(shù)據(jù)集合稻励，需要從數(shù)據(jù)源經(jīng)過一系列抽取、清洗愈涩、轉(zhuǎn)換的過程望抽。

3.穩(wěn)定性

數(shù)據(jù)倉(cāng)庫(kù)中保存的數(shù)據(jù)是一系列歷史快照，不允許被修改履婉。用戶只能通過分析工具進(jìn)行查詢和分析煤篙。

4.時(shí)變性

數(shù)據(jù)倉(cāng)庫(kù)會(huì)定期接收新的集成數(shù)據(jù)，反應(yīng)出最新的數(shù)據(jù)變化毁腿。這和特點(diǎn)并不矛盾辑奈。

既然數(shù)據(jù)源有多種多樣，數(shù)據(jù)倉(cāng)庫(kù)是如何來(lái)集成不同的數(shù)據(jù)源的呢已烤？
不同數(shù)據(jù)源所做的數(shù)據(jù)集成鸠窗，就要依靠ETL啦。

二胯究、數(shù)據(jù)集成：ETL

ETL的英文全稱是 Extract-Transform-Load 的縮寫稍计，用來(lái)描述將數(shù)據(jù)從來(lái)源遷移到目標(biāo)的幾個(gè)過程：

1.Extract，數(shù)據(jù)抽取裕循，也就是把數(shù)據(jù)從數(shù)據(jù)源讀出來(lái)臣嚣。

2.Transform，數(shù)據(jù)轉(zhuǎn)換剥哑，把原始數(shù)據(jù)轉(zhuǎn)換成期望的格式和維度硅则。如果用在數(shù)據(jù)倉(cāng)庫(kù)的場(chǎng)景下，Transform也包含數(shù)據(jù)清洗星持，清洗掉噪音數(shù)據(jù)抢埋。

3.Load, 數(shù)據(jù)加載，把處理后的數(shù)據(jù)加載到目標(biāo)處督暂，比如數(shù)據(jù)倉(cāng)庫(kù)揪垄。

集成過程

三、主流的數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)介

1.基于Hadoop的開源數(shù)據(jù)庫(kù)——HIVE
Hive是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具逻翁，可以對(duì)存儲(chǔ)在HDFS上的文件數(shù)據(jù)集進(jìn)行查詢和分析處理饥努。Hive對(duì)外提供了類似于SQL語(yǔ)言的查詢語(yǔ)言 HiveQL，在做查詢時(shí)將HQL語(yǔ)句轉(zhuǎn)換成MapReduce任務(wù)八回，在Hadoop層進(jìn)行執(zhí)行酷愧。最大優(yōu)勢(shì)是不驾诈！要！錢溶浴！

HIVE

這里有幾個(gè)名詞需要解釋：

• Hadoop（某知友的五分鐘零基礎(chǔ)搞懂Hadoop）
  Hadoop是一個(gè)由Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)乍迄。 用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序士败。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)闯两。 Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS谅将。HDFS有高容錯(cuò)性的特點(diǎn)漾狼，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來(lái)訪問應(yīng)用程序的數(shù)據(jù)饥臂，適合那些有著超大數(shù)據(jù)集（large data set）的應(yīng)用程序逊躁。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)隅熙。 Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce稽煤。HDFS為海量的數(shù)據(jù)提供了存儲(chǔ)，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算猛们。

• HDFS
  Hadoop的分布式文件系統(tǒng)念脯，在這里作為數(shù)據(jù)倉(cāng)庫(kù)的存儲(chǔ)層。圖中的Data Node就是HDFS的眾多工作節(jié)點(diǎn)弯淘。

• MapReduce
  一種針對(duì)海量數(shù)據(jù)的并行計(jì)算模型，可以簡(jiǎn)單理解為對(duì)多個(gè)數(shù)據(jù)分片的數(shù)據(jù)轉(zhuǎn)換和合并吉懊。

2.主流數(shù)據(jù)倉(cāng)庫(kù)之二——Teradata

Teradata數(shù)據(jù)倉(cāng)庫(kù)配備性能最高庐橙、最可靠的大規(guī)模并行處理 (MPP) 平臺(tái)，能夠高速處理海量數(shù)據(jù)借嗽，其性能遠(yuǎn)遠(yuǎn)高于Hive态鳖。

它使得企業(yè)可以專注于業(yè)務(wù)，無(wú)需花費(fèi)大量精力管理技術(shù)恶导，因而可以更加快速地做出明智的決策浆竭，實(shí)現(xiàn) ROI（投資回報(bào)率） 最大化。

市面上的主流數(shù)據(jù)倉(cāng)庫(kù)也越來(lái)越多惨寿，歡迎大家可以補(bǔ)充~