數(shù)據(jù)倉(cāng)庫(kù)

什么時(shí)候需要用到數(shù)據(jù)倉(cāng)庫(kù)？

一個(gè)公司里面不同項(xiàng)目可能用到不同的數(shù)據(jù)源，有的存在MySQL里面自脯，又的存在MongoDB里面，甚至還有些要做第三方數(shù)據(jù)斤富。

但是現(xiàn)在又想把數(shù)據(jù)整合起來(lái)膏潮，進(jìn)行數(shù)據(jù)分析。此時(shí)數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse满力，DW)就派上用場(chǎng)了焕参。它可以對(duì)多種業(yè)務(wù)數(shù)據(jù)進(jìn)行篩選和整合，可以用于數(shù)據(jù)分析油额、數(shù)據(jù)挖掘叠纷、數(shù)據(jù)報(bào)表。

image.png

數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)

• 主題性：數(shù)據(jù)倉(cāng)庫(kù)是針對(duì)某個(gè)主題來(lái)進(jìn)行組織潦嘶，比如滴滴出行涩嚣，司機(jī)行為分析就是一個(gè)主題，所以可以將多種不同的數(shù)據(jù)源進(jìn)行整合。而傳統(tǒng)的數(shù)據(jù)庫(kù)主要針對(duì)某個(gè)項(xiàng)目而言缓艳，數(shù)據(jù)相對(duì)分散和孤立校摩。
• 集成性：
  數(shù)據(jù)倉(cāng)庫(kù)需要將多個(gè)數(shù)據(jù)源的數(shù)據(jù)存到一起看峻，但是這些數(shù)據(jù)以前的存儲(chǔ)方式不同阶淘，所以需要經(jīng)過(guò)抽取、清洗互妓、轉(zhuǎn)換的過(guò)程
• 穩(wěn)定性：保存的數(shù)據(jù)是一系列歷史快照溪窒，不允許修改，只能分析冯勉。
• 時(shí)變性：會(huì)定期接收到新的數(shù)據(jù)澈蚌，反應(yīng)出最新的數(shù)據(jù)變化。

總的來(lái)說(shuō)灼狰，數(shù)據(jù)倉(cāng)庫(kù)是將多個(gè)數(shù)據(jù)源的數(shù)據(jù)按照一定的主題集成起來(lái)宛瞄，因?yàn)橹暗臄?shù)據(jù)各不相同，所以需要抽取交胚、清洗份汗、轉(zhuǎn)換。

整合以后的數(shù)據(jù)不允許隨便修改蝴簇，只能分析杯活，還需要定期更新。

ETL

上面我們說(shuō)過(guò)熬词，數(shù)據(jù)倉(cāng)庫(kù)接收的數(shù)據(jù)源是不同的旁钧，要做集成的話，需要抽取互拾、清洗歪今、轉(zhuǎn)換三個(gè)步驟捺弦，這就是ETL(Extract-Transform-Load)

• Extract：數(shù)據(jù)抽取股毫，就是把數(shù)據(jù)從數(shù)據(jù)源讀出來(lái)
• Transform：數(shù)據(jù)轉(zhuǎn)換，就是把數(shù)據(jù)轉(zhuǎn)換為特定的格式

• Load：數(shù)據(jù)加載拨脉，把處理后的數(shù)據(jù)加載到目標(biāo)處或衡。

  
  
  image.png

主流的數(shù)據(jù)倉(cāng)庫(kù)

國(guó)內(nèi)最常用的是一款基于Hadoop的開(kāi)源數(shù)據(jù)倉(cāng)庫(kù)焦影，名為Hive，它可以對(duì)存儲(chǔ)在HDFS的文件數(shù)據(jù)進(jìn)行查詢封断、分析斯辰。

Hive對(duì)外可以提供HiveQL，這是類似于SQL語(yǔ)言的一種查詢語(yǔ)言坡疼。在查詢時(shí)可以將HiveQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)彬呻，在Hadoop層進(jìn)行執(zhí)行。

Hive的最大優(yōu)勢(shì)在于免費(fèi)，那其他知名的商業(yè)數(shù)據(jù)倉(cāng)庫(kù)有那些呢闸氮？比如Oracle,DB2剪况，其中業(yè)界老大是Teradata

Teradata數(shù)據(jù)倉(cāng)庫(kù)支持大規(guī)模并行處理平臺(tái)(MPP)，可以高速處理海量實(shí)際上蒲跨，性能遠(yuǎn)遠(yuǎn)高于Hive译断。對(duì)企業(yè)來(lái)說(shuō)，只需要專注于業(yè)務(wù)或悲，節(jié)省管理技術(shù)方面的精力孙咪，實(shí)現(xiàn)ROI（投資回報(bào)率）最大化。

image.png

Hive

上面提到了Hive是最著名的開(kāi)源數(shù)據(jù)倉(cāng)庫(kù)巡语，它是Hadoop生態(tài)中一個(gè)重要的組件翎蹈。

Hadoop的生態(tài)中，HDFS解決了分布式存儲(chǔ)的問(wèn)題男公，MapReduce解決了分布式計(jì)算的問(wèn)題荤堪，而HBASE則提供了一種NoSQL的存儲(chǔ)方法。

但是如果需要的HDFS上的文件或者HBASE的表進(jìn)行查詢枢赔，需要自定義MapReduce方法澄阳。那么Hive其實(shí)就是在HDFS上面的一個(gè)中間層，它可以讓業(yè)務(wù)人員直接使用SQL進(jìn)行查詢糠爬。

所以Hive是用進(jìn)行數(shù)據(jù)提取轉(zhuǎn)換加載的寇荧，而且它可以把SQL轉(zhuǎn)換為MapReduce任務(wù)，而Hive的表就是HDFS的目錄或者文件执隧。

Hive的體系架構(gòu)

image.png

上圖為Hive的體系結(jié)構(gòu)

• 首先是接入Hive的客戶端揩抡，可以通過(guò)CLI命令行方式，也可以是Hive的Client直接連接到Hive Server中镀琉。還可以是Web瀏覽器直接訪問(wèn)

• 之前我們提到過(guò)Hive的表就是HDFS中的一個(gè)文件峦嗤，所以Hive還會(huì)將表的相關(guān)屬性單獨(dú)列出來(lái)，為了方便檢索屋摔，可以存放在MySQL烁设、derby等數(shù)據(jù)庫(kù)里面。

  這些數(shù)據(jù)就是元數(shù)據(jù)信息钓试，比如表是否為外部表装黑，數(shù)據(jù)存放在哪個(gè)目錄等等。

  Hive和MySQL既可以在同一臺(tái)服務(wù)器上弓熏，又可以在不同的機(jī)器上恋谭。

• 另外Hive還需要對(duì)SQL語(yǔ)句進(jìn)行解析，所以和數(shù)據(jù)庫(kù)一樣挽鞠，它也有解釋器疚颊、編譯器狈孔、優(yōu)化器等等，而且還會(huì)生成查詢計(jì)劃材义，存儲(chǔ)在HDFS中均抽，然后由MapReduce進(jìn)行調(diào)用。

image.png

Hive的數(shù)據(jù)模型

Hive主要包含以下幾種數(shù)據(jù)模型：

• Hive數(shù)據(jù)庫(kù)：類似于傳統(tǒng)數(shù)據(jù)庫(kù)

• 內(nèi)部表其掂，與傳統(tǒng)數(shù)據(jù)庫(kù)的Table一樣油挥，每個(gè)Table都在Hive中有一個(gè)目錄進(jìn)行對(duì)應(yīng)。刪除表時(shí)清寇，元數(shù)據(jù)和保存的實(shí)際數(shù)據(jù)都會(huì)刪除掉

• 外部表：

  外部表就類似于一個(gè)快捷方式或者說(shuō)一個(gè)指針喘漏，指向HDFS已經(jīng)存在的數(shù)據(jù)。

• Partition：也就是對(duì)列進(jìn)行密集索引

• 桶：

  Hive的桶是對(duì)表的每一列進(jìn)行Hash华烟，然后根據(jù)Hash值切分?jǐn)?shù)據(jù)，這樣每一個(gè)Bucket對(duì)應(yīng)一個(gè)文件持灰。

• 視圖：與傳統(tǒng)數(shù)據(jù)庫(kù)類似盔夜，是一個(gè)邏輯的表。

image.png

參考

本文為什么是數(shù)據(jù)倉(cāng)庫(kù)堤魁？的筆記