//
數(shù)據(jù)倉(cāng)庫(kù)之ETL漫談-實(shí)戰(zhàn)總結(jié)理論 - xiaohai798的專(zhuān)欄 - 博客頻道 - CSDN.NET
http://blog.csdn.net/xiaohai798/article/details/41948643

ETL痕寓，Extraction-Transformation-Loading的縮寫(xiě)洒宝，中文名稱(chēng)為數(shù)據(jù)抽取、轉(zhuǎn)換和加載蕴侣。
大多數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)架構(gòu)可以概括為：
數(shù)據(jù)源-->ODS(操作型數(shù)據(jù)存儲(chǔ))-->DW-->DM(data mart)
ETL貫穿其各個(gè)環(huán)節(jié)。

?一臭觉、數(shù)據(jù)抽壤ト浮：
可以理解為是把源數(shù)據(jù)的數(shù)據(jù)抽取到ODS或者DW中。
1. 源數(shù)據(jù)類(lèi)型：
關(guān)系型數(shù)據(jù)庫(kù)蝠筑，如Oracle,MySQL,Sqlserver等;
文本文件狞膘，如用戶(hù)瀏覽網(wǎng)站產(chǎn)生的日志文件，業(yè)務(wù)系統(tǒng)以文件形式提供的數(shù)據(jù)等什乙；
其他外部數(shù)據(jù)挽封，如手工錄入的數(shù)據(jù)等；
2. 抽取的頻率：
大多是每天抽取一次臣镣，?也可以根據(jù)業(yè)務(wù)需求每小時(shí)甚至每分鐘抽取辅愿，當(dāng)然得考慮源數(shù)據(jù)庫(kù)系統(tǒng)能否承受；
3. 抽取策略：
個(gè)人感覺(jué)這是數(shù)據(jù)抽取中最重要的部分忆某，可分為全量抽取和增量抽取点待。
全量抽取適用于那些數(shù)據(jù)量比較小，并且不容易判斷其數(shù)據(jù)發(fā)生改變的諸如關(guān)系表弃舒，維度表癞埠，配置表等状原；****
增量抽取，一般是由于數(shù)據(jù)量大苗踪，不可能采用全量抽取颠区，或者為了節(jié)省抽取時(shí)間而采用的抽取策略；
如何判斷增量通铲，這是增量抽取中最難的部分瓦呼，一般包括以下幾種情況：
a) 通過(guò)時(shí)間標(biāo)識(shí)字段抽取增量；源數(shù)據(jù)表中有明確的可以標(biāo)識(shí)當(dāng)天數(shù)據(jù)的字段的流水表测暗，
如createtime央串，updatetime等；
b) 根據(jù)上次抽取結(jié)束時(shí)候記錄的自增長(zhǎng)ID來(lái)抽取增量碗啄；無(wú)createtime,但有自增長(zhǎng)類(lèi)型字段的流水表质和，
如自增長(zhǎng)的ID，抽取完之后記錄下最大的ID稚字，
下次抽取可根據(jù)上次記錄的ID來(lái)抽人撬蕖；
c) 通過(guò)分析數(shù)據(jù)庫(kù)日志獲取增量數(shù)據(jù)胆描，無(wú)時(shí)間標(biāo)識(shí)字段瘫想，無(wú)自增長(zhǎng)ID的關(guān)系型數(shù)據(jù)庫(kù)中的表；
d) 通過(guò)與前一天數(shù)據(jù)的Hash比較昌讲，比較出發(fā)生變化的數(shù)據(jù)国夜，這種策略比較復(fù)雜，在這里描述一下短绸，
比如一張會(huì)員表车吹，它的主鍵是memberID,而會(huì)員的狀態(tài)是有可能每天都更新的，
我們?cè)诘谝淮纬槿≈蟠妆眨梢粡垈溆帽鞟窄驹，包含兩個(gè)字段，第一個(gè)是memberID,
第二個(gè)是除了memberID之外其他所有字段拼接起來(lái)证逻，再做個(gè)Hash生成的字段乐埠，
在下一次抽取的時(shí)候，將源表同樣的處理,生成表B,將B和A左關(guān)聯(lián)囚企，Hash字段不相等的
為發(fā)生變化的記錄丈咐，另外還有一部分新增的記錄，
根據(jù)這兩部分記錄的memberID去源表中抽取對(duì)應(yīng)的記錄洞拨；
e) 由源系統(tǒng)主動(dòng)推送增量數(shù)據(jù)扯罐；例如訂單表负拟，交易表烦衣，
有些業(yè)務(wù)系統(tǒng)在設(shè)計(jì)的時(shí)候，當(dāng)一個(gè)訂單狀態(tài)發(fā)生變化的時(shí)候，是去源表中做update花吟，
而我們?cè)跀?shù)據(jù)倉(cāng)庫(kù)中需要把一個(gè)訂單的所有狀態(tài)都記錄下來(lái)秸歧，
這時(shí)候就需要在源系統(tǒng)上做文章，數(shù)據(jù)庫(kù)?觸發(fā)器一般不可取衅澈。我能想到的方法是在業(yè)務(wù)系統(tǒng)上做些變動(dòng)键菱，
當(dāng)訂單狀態(tài)發(fā)生變化時(shí)候，記一張流水表今布，可以是寫(xiě)進(jìn)數(shù)據(jù)庫(kù)经备，也可以是記錄日志文件。
當(dāng)然肯定還有其他抽取策略部默，至于采取哪種策略侵蒙，需要考慮源數(shù)據(jù)系統(tǒng)情況，
抽取過(guò)來(lái)的數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中的存儲(chǔ)和處理邏輯傅蹂，抽取的時(shí)間窗口等等因素纷闺。

二、數(shù)據(jù)清洗：
顧名思義?份蝴，就是把不需要的犁功，和不符合規(guī)范的數(shù)據(jù)進(jìn)行處理。數(shù)據(jù)清洗最好放在抽取的環(huán)節(jié)進(jìn)行婚夫，
這樣可以節(jié)約后續(xù)的計(jì)算和存儲(chǔ)成本浸卦；
當(dāng)源數(shù)據(jù)為數(shù)據(jù)庫(kù)時(shí)候，其他抽取數(shù)據(jù)的SQL中就可以進(jìn)行很多數(shù)據(jù)清洗的工作了案糙。
?數(shù)據(jù)清洗主要包括以下幾個(gè)方面：
1. 空值處理镐躲；根據(jù)業(yè)務(wù)需要，可以將空值替換為特定的值或者直接過(guò)濾掉侍筛；
2. 驗(yàn)證數(shù)據(jù)正確性萤皂；主要是把不符合?業(yè)務(wù)含義的數(shù)據(jù)做一處理，比如匣椰，把一個(gè)表示數(shù)量的字段中的字符串
替換為0裆熙，把一個(gè)日期字段的非日期字符串過(guò)濾掉等等；
3. 規(guī)范數(shù)據(jù)格式禽笑；比如入录，把所有的日期都格式化成YYYY-MM-DD的格式等；
4. ?數(shù)據(jù)轉(zhuǎn)碼佳镜；把一個(gè)源數(shù)據(jù)中用編碼表示的字段僚稿，通過(guò)關(guān)聯(lián)編碼表，轉(zhuǎn)換成代表其真實(shí)意義的值等等蟀伸；
5. 數(shù)據(jù)標(biāo)準(zhǔn)蚀同，統(tǒng)一缅刽；比如在源數(shù)據(jù)中表示男女的方式有很多種，在抽取的時(shí)候蠢络，直接根據(jù)模型中定義的值做轉(zhuǎn)化衰猛，
統(tǒng)一表示男女；
6. 其他業(yè)務(wù)規(guī)則定義的數(shù)據(jù)清洗刹孔。啡省。。

三髓霞、數(shù)據(jù)轉(zhuǎn)換和加載：
很多人理解的ETL是在經(jīng)過(guò)前兩個(gè)部分之后卦睹，加載到數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)庫(kù)中就完事了。
數(shù)據(jù)轉(zhuǎn)換和加載不僅僅是在源數(shù)據(jù)-->ODS這一步方库，ODS-->DW, DW-->DM包含更為重要和復(fù)雜的ETL過(guò)程分预。
1. 什么是ODS？
ODS（Operational Data Store）是數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中的一個(gè)可選部分薪捍，
ODS具備數(shù)據(jù)倉(cāng)庫(kù)的部分特征和OLTP系統(tǒng)的部分特征笼痹，
它是“面向主題的、集成的酪穿、當(dāng)前或接近當(dāng)前的凳干、 不斷變化的”數(shù)據(jù)。?---摘自百度百科
其實(shí)大多時(shí)候被济，ODS只是充當(dāng)了一個(gè)數(shù)據(jù)臨時(shí)存儲(chǔ)救赐，數(shù)據(jù)緩沖的角色。一般來(lái)說(shuō)只磷，
數(shù)據(jù)由源數(shù)據(jù)加載到ODS之后经磅，會(huì)保留一段時(shí)間，當(dāng)后面的數(shù)據(jù)處理邏輯有問(wèn)題钮追，需要重新計(jì)算的時(shí)候预厌，
可以直接從ODS這一步獲取，而不用再?gòu)脑磾?shù)據(jù)再抽取一次元媚，減少對(duì)源系統(tǒng)的壓力轧叽。
另外，ODS還會(huì)直接給DM或者前端報(bào)表提供數(shù)據(jù)刊棕，比如一些維表或者不需要經(jīng)過(guò)計(jì)算和處理的數(shù)據(jù)炭晒；
還有，ODS會(huì)完成一些其他事情甥角，比如网严，存儲(chǔ)一些明細(xì)數(shù)據(jù)以備不時(shí)之需等等；
2. 數(shù)據(jù)轉(zhuǎn)換(刷新)：
數(shù)據(jù)轉(zhuǎn)換嗤无，更多的人把它叫做數(shù)據(jù)刷新震束，就是用ODS中的增量或者全量數(shù)據(jù)來(lái)刷新DW中的表怜庸。
DW中的表基本都是按照事先設(shè)計(jì)好的模型創(chuàng)建的，如事實(shí)表驴一，維度表休雌，匯總表等灶壶，
每天都需要把新的數(shù)據(jù)更新到這些表中肝断。
更新這些表的過(guò)程(程序)都是剛開(kāi)始的時(shí)候開(kāi)發(fā)好的，每天只需要傳一些參數(shù),如日期驰凛，來(lái)運(yùn)行這些程序即可胸懈。
3. 數(shù)據(jù)加載：
個(gè)人認(rèn)為，每insert數(shù)據(jù)到一張表恰响，都可以稱(chēng)為數(shù)據(jù)加載趣钱，至于是delete+insert、truncate+insert胚宦、
還是merge首有，這個(gè)是由業(yè)務(wù)規(guī)則決定的，這些操作也都是嵌入到數(shù)據(jù)抽取枢劝、轉(zhuǎn)換的程序中的井联。

四、ETL工具：
在傳統(tǒng)行業(yè)的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目中您旁，大多會(huì)采用一些現(xiàn)成的ETL工具烙常，如Informatica、Datastage鹤盒、微軟SSIS等蚕脏。
這三種工具我都使用過(guò)，優(yōu)點(diǎn)有：圖形界面侦锯，開(kāi)發(fā)簡(jiǎn)單驼鞭，數(shù)據(jù)流向清晰；缺點(diǎn)：局限性尺碰，不夠靈活终议，
處理大數(shù)據(jù)量比較吃力，查錯(cuò)困難葱蝗，昂貴的費(fèi)用穴张；
選擇ETL工具需要充分考慮源系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)的環(huán)境，當(dāng)然還有成本两曼，如果源數(shù)據(jù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)都采用
ORACLE皂甘，那么我覺(jué)得所有的ETL，都可以用存儲(chǔ)過(guò)程來(lái)完成了悼凑。偿枕。
在大一點(diǎn)的互聯(lián)網(wǎng)公司璧瞬，由于數(shù)據(jù)量大，需求特殊渐夸，ETL工具大多為自己開(kāi)發(fā)嗤锉，
或者在開(kāi)源工具上再進(jìn)行一些二次開(kāi)發(fā)，在實(shí)際工作中墓塌，
一個(gè)存儲(chǔ)過(guò)程瘟忱，一個(gè)shell/perl腳本，一個(gè)Java程序等等苫幢，都可以作為ETL工具访诱。
?
五、ETL過(guò)程中的元數(shù)據(jù)：
試想一下韩肝，你作為一個(gè)新人接手別人的工作触菜，沒(méi)有文檔，程序沒(méi)有注釋?zhuān)?br> 數(shù)據(jù)庫(kù)中的表和字段也沒(méi)有任何comment哀峻，你是不是會(huì)罵娘了涡相？
業(yè)務(wù)系統(tǒng)發(fā)生改變，刪除了一個(gè)字段剩蟀，需要數(shù)據(jù)倉(cāng)庫(kù)也做出相應(yīng)調(diào)整的時(shí)候催蝗，
你如何知道改這個(gè)字段會(huì)對(duì)哪些程序產(chǎn)生影響？
喻旷。生逸。。且预。
源系統(tǒng)表的字段及其含義槽袄，源系統(tǒng)數(shù)據(jù)庫(kù)的IP、接口人锋谐，數(shù)據(jù)倉(cāng)庫(kù)表的字段及其含義遍尺，
源表和目標(biāo)表的對(duì)應(yīng)關(guān)系，一個(gè)任務(wù)對(duì)應(yīng)的源表和目標(biāo)表涮拗，任務(wù)之間的依賴(lài)關(guān)系乾戏，
任務(wù)每次執(zhí)行情況等等等等爷辱，這些元數(shù)據(jù)如果都能?chē)?yán)格的管控起來(lái)稽莉，上面的問(wèn)題肯定不會(huì)是問(wèn)題了彬檀。霍骄。。

以上轉(zhuǎn)載自：http://superlxw1234.iteye.com/blog/1666960
想說(shuō)這個(gè)文章是干貨盆佣，說(shuō)的很實(shí)在隶糕，是有技術(shù)濃縮在里面的尚揣。

關(guān)于上面的在這里說(shuō)下自己的體會(huì)
3. 抽取策略：數(shù)據(jù)量小的表（比如50w一下）盡量使用全量抽取，可以避免出現(xiàn)數(shù)據(jù)遺漏等錯(cuò)誤摆出。
** d)增量的hash比較這個(gè)策略 在ETL 工具kettle里面有類(lèi)似策略的實(shí)現(xiàn)朗徊，先從源系統(tǒng)做份全量到目標(biāo)表，然后從源系統(tǒng)取全量用主鍵與目標(biāo)表一條條比對(duì)偎漫，如果目標(biāo) 表沒(méi)有那就是新增爷恳、目標(biāo)表有源系統(tǒng)沒(méi)有那就是刪除、源系統(tǒng)有目標(biāo)表有且變更那就是更新象踊。**
** d)實(shí)例：kettle入門(mén)(七) 之kettle增量方案(一)全量比對(duì)取增量-根據(jù)唯一標(biāo)示**

ORACLE温亲，那么我覺(jué)得所有的ETL，都可以用存儲(chǔ)過(guò)程來(lái)完成了通危。铸豁。 關(guān)于文章的這句話灌曙，我覺(jué)得對(duì)于T菊碟、L過(guò)程可以差不多這么說(shuō) ，但是E過(guò)程就不行了在刺，像從各個(gè)源系統(tǒng)數(shù)據(jù)做增量逆害、批量提交等到ods的表 ，還是用ETL工具像kettle這樣的有可視化的界面配置比較方便且好管理蚣驼。