轉(zhuǎn)職入行做數(shù)據(jù)倉庫也有一年半載了滨达，一直想寫一些1，總結(jié)一下以往學(xué)習(xí)過程中的個人理解供自己與廣眾做參考俯艰。這篇文章捡遍，只是0，一個懶人包竹握，幫助對數(shù)據(jù)倉庫有興趣的朋友画株，以類比形式簡易理解數(shù)據(jù)倉庫的概念，以作之后1的鋪墊啦辐。因?yàn)槭情_篇谓传，歡迎閱讀過的朋友在簡書這里留下疑問或建議，感激芹关。
什么是數(shù)據(jù)续挟，什么是數(shù)據(jù)庫？
Data侥衬，數(shù)據(jù) （資料 zh-TW）其實(shí)就是 數(shù)诗祸、文字、字符浇冰，符號贬媒，或影像、聲音肘习。我們這里通常泛指的是可以被收集际乘，處理的，可能有價值的數(shù)據(jù)漂佩。數(shù)據(jù)是新石油嘛（Data Is the New Oil）脖含。既然有價值，我們來把它們比喻做貨品吧投蝉，蔬果养葵，啤酒，尿片瘩缆。而你是老板（數(shù)據(jù)持有者/用戶）关拒，要拿這些貨品起家做生意（獲取數(shù)據(jù)價值）。
Database，數(shù)據(jù)庫（資料庫 zh-TW）就是裝載這些電子化數(shù)據(jù)的“容柜”着绊，通常這樣的容柜會有個管理系統(tǒng)谐算，以便幫助你查找，裝載归露，卸除洲脂，整理你所持有的貨品（數(shù)據(jù)）。對于蔬果和啤酒來說剧包，他們是新鮮快消品恐锦，來去快，那么這個容柜可以是農(nóng)場或釀酒廠里的大冰柜疆液，成品一铅，半成品（原始數(shù)據(jù)），都先擺大冰柜凍起來（OLTP 交易型數(shù)據(jù)庫）堕油。出貨用的容柜可以是一般的貨箱（OLAP 分析型數(shù)據(jù)庫）馅闽，對它操作頻率相對不那么高，功能上也不那么多要求馍迄。不需冷藏功能，能擺的下出貨的批量其實(shí)就夠了（OLAP 在某些特性像存儲讀寫/實(shí)時監(jiān)測上的要求也許不高）局骤。
什么是數(shù)據(jù)倉庫攀圈，什么是數(shù)據(jù)集市？
好吧現(xiàn)在你發(fā)家了峦甩，有了點(diǎn)小資本赘来，以前你是批發(fā)商，一直是一兩個柜拿貨凯傲、出貨（直接使用數(shù)據(jù)庫就夠）犬辰，甚至直接調(diào)貨給零售商（終端用戶）。現(xiàn)在你想進(jìn)更多的貨冰单，考慮自己做做小加工和零售幌缝。是時候要整一塊大地兒，有規(guī)模的定制好一些貨架诫欠，來擺放盤點(diǎn)你這么多的貨品了（大數(shù)據(jù)）涵卵。
Data Warehouse / EDW，數(shù)據(jù)倉庫（資料倉儲 zh-TW）荒叼，就是很大轿偎，預(yù)算充足的一個再加工倉儲空間”焕可以集中坏晦，統(tǒng)一，整齊一致擺放來自于各類容柜的貨品，分門別類上貨架昆婿，并突出它們相關(guān)的時間標(biāo)簽球碉，以便作為老板的你可以隨時調(diào)出貨品何時上架何時更改（歷史數(shù)據(jù)），看看下次該采購什么貨挖诸，多少貨（做企業(yè)決策）汁尺。
調(diào)出到哪里呢？你聘有這么一批專員（BI分析員）多律，幫你對接你的零售商客戶痴突。餐飲業(yè)客戶希望調(diào)一些最新最炫的酒類貨品；母嬰產(chǎn)品零售想跟你調(diào)幾批新舊款尿片試做比較狼荞；超市啤酒和尿片都要辽装，他們要研究兩者有什么關(guān)聯(lián)，你的客戶還真是多種多樣哦相味。
我們只好在倉庫外搭起幾個小帳篷 Data Mart（數(shù)據(jù)集市）拾积，再把他們各自所需的貨架（在這里數(shù)據(jù)是貨架因?yàn)橐颜矸珠T別類好了）都調(diào)過去小帳篷出貨。要啤酒丰涉，要尿片拓巧，或是兩樣都要，安照客戶需求統(tǒng)統(tǒng)滿足唄（面向業(yè)務(wù)主題）一死。
所以肛度，按照范疇劃分，數(shù)據(jù) < 數(shù)據(jù)庫 < 數(shù)據(jù)集市（型洞取）/ 數(shù)據(jù)倉庫（大）承耿。
按照過程，一般的數(shù)據(jù)是由交易型數(shù)據(jù)庫轉(zhuǎn)移至分析型數(shù)據(jù)庫伪煤，清洗整理后在數(shù)據(jù)倉庫加載加袋，最后轉(zhuǎn)移至數(shù)據(jù)集市供用戶使用：
什么是 ETL？
Extract-Transform-Load蝙砌，抽取-轉(zhuǎn)換-加載阳堕。貨品越多越需要自動化管理，否則就焦頭爛額了嘛择克。你看亞馬遜的倉庫恬总，都靠機(jī)器人來整理至出貨，效率擺在那肚邢，不需要人手的就給它自動化壹堰。
它是這樣開始的：倉庫門前擺滿了農(nóng)場送來的滿載了蔬果的貨箱拭卿，上個禮拜和今天都有胡蘿卜到貨，今天還有新到的雪梨贱纠，而在倉庫里指定的上架類別是新鮮蔬果汁成品（商業(yè)需求）峻厚。為了保證品質(zhì)要來作些篩選取舍，上禮拜的胡蘿卜過期就不要了谆焊，我們只要今天到貨的胡蘿卜和雪梨（數(shù)據(jù)的抽然萏摇）。
選好了這批貨開箱后辖试，胡蘿卜和雪梨都擺上傳送帶往倉庫里輸送（數(shù)據(jù)抽取進(jìn)程）辜王，清潔水洗（數(shù)據(jù)清洗）和大小分批（粒度篩選），這個過程也會分揀出質(zhì)量不好的一部分（錯誤/不完整/冗余數(shù)據(jù)）罐孝，接著就被按照批次擺放至倉庫內(nèi)的一個蔬果待加工儲藏區(qū)（ODS）呐馆。
因?yàn)樽罱K成品是新鮮胡蘿卜雪梨汁，加工步驟（Staging）開始了：去皮去核打汁（數(shù)據(jù)轉(zhuǎn)換）莲兢，按比例參雜蔬果汁和水（商業(yè)需求邏輯）汹来，玻璃瓶封起，六支一箱包裝好（數(shù)據(jù)模型標(biāo)準(zhǔn)）改艇，成品入倉上架（數(shù)據(jù)加載）收班。
以上這些倉庫內(nèi)的自動化處理進(jìn)程谒兄，就叫ETL闺阱。設(shè)計(jì)，開發(fā)和維護(hù)這些進(jìn)程的人舵变，也就是數(shù)據(jù)的“倉務(wù)管理員”。
