ETL

ETL是英文Extract-Transform-Load 的縮寫(xiě)差牛，用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽人场（extract）博肋、轉(zhuǎn)換（transform）痒芝、加載（load）至目的端的過(guò)程坝撑。

常見(jiàn)于數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)中將數(shù)據(jù)由業(yè)務(wù)系統(tǒng)歸集到數(shù)據(jù)倉(cāng)庫(kù)（DW）或者數(shù)據(jù)集市的過(guò)程静秆。

ETL負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)巡李、
平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗抚笔、轉(zhuǎn)換银择、集成畜疾，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中横朋，成為聯(lián)機(jī)分析處理闽烙、數(shù)據(jù)挖掘的基礎(chǔ)怜俐。

相對(duì)于關(guān)系數(shù)據(jù)庫(kù)铐殃，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)沒(méi)有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)滋尉，它更面向?qū)嶋H工程應(yīng)用竖慧。

所以從工程應(yīng)用的角度來(lái)考慮季研，按著物理數(shù)據(jù)模型的要求加載數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行一些系列處理敞葛，處理過(guò)程與經(jīng)驗(yàn)直接相關(guān)，同時(shí)這部分的工作直接關(guān)系數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的質(zhì)量与涡，從而影響到聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的結(jié)果的質(zhì)量惹谐。

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，需要通過(guò)抽取過(guò)程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理環(huán)境递沪、外部數(shù)據(jù)源和脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)中豺鼻；

在技術(shù)上，ETL主要涉及到關(guān)聯(lián)款慨、轉(zhuǎn)換儒飒、增量、調(diào)度和監(jiān)控等幾個(gè)方面檩奠；

數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中數(shù)據(jù)不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)中數(shù)據(jù)實(shí)時(shí)同步桩了，所以ETL可以定時(shí)進(jìn)行附帽。

但多個(gè)ETL的操作時(shí)間、順序和成敗對(duì)數(shù)據(jù)倉(cāng)庫(kù)中信息的有效性至關(guān)重要井誉。

在ETL三個(gè)部分中蕉扮，花費(fèi)時(shí)間最長(zhǎng)的是“T”(Transform，清洗颗圣、轉(zhuǎn)換)的部分喳钟，一般情況下這部分工作量是整個(gè)ETL的2/3。

ETL關(guān)鍵技術(shù)

ETL過(guò)程中的主要環(huán)節(jié)就是數(shù)據(jù)抽取在岂、數(shù)據(jù)轉(zhuǎn)換和加工奔则、數(shù)據(jù)裝載。

為了實(shí)現(xiàn)這些功能蔽午，各個(gè)ETL工具一般會(huì)進(jìn)行一些功能上的擴(kuò)充易茬，例如工作流、調(diào)度引擎及老、規(guī)則引擎抽莱、腳本支持、統(tǒng)計(jì)信息等骄恶。

1. 抽取作業(yè)

數(shù)據(jù)抽取是從數(shù)據(jù)源中抽取數(shù)據(jù)的過(guò)程食铐。實(shí)際應(yīng)用中，數(shù)據(jù)源較多采用的是關(guān)系數(shù)據(jù)庫(kù)僧鲁。

1.1 從數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)的方式：

1.1.1 全量抽取

全量抽取類(lèi)似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制璃岳，它將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動(dòng)的從數(shù)據(jù)庫(kù)中抽取出來(lái)，并轉(zhuǎn)換成自己的ETL工具可以識(shí)別的格式悔捶。

全量抽取比較簡(jiǎn)單铃慷。

1.1.2 增量抽取

增量抽取只抽取自上次抽取以來(lái)數(shù)據(jù)庫(kù)中要抽取的表中新增或修改的數(shù)據(jù)。

在ETL使用過(guò)程中蜕该，增量抽取較全量抽取應(yīng)用更廣犁柜，如何捕獲變化的數(shù)據(jù)是增量抽取的關(guān)鍵。

對(duì)捕獲方法一般有兩點(diǎn)要求：

• 準(zhǔn)確性堂淡，能夠?qū)I(yè)務(wù)系統(tǒng)中的變化數(shù)據(jù)按一定的頻率準(zhǔn)確地捕獲到馋缅；
• 性能，不能對(duì)業(yè)務(wù)系統(tǒng)造成太大的壓力绢淀，影響現(xiàn)有業(yè)務(wù)萤悴。

1.2 手工開(kāi)發(fā)抽取作業(yè)時(shí)候的常用方法：

1.2.1 當(dāng)數(shù)據(jù)源和DW為同一類(lèi)數(shù)據(jù)庫(kù)時(shí)

一般情況下，DBMS(SQLServer皆的、Oracle)都會(huì)提供數(shù)據(jù)庫(kù)鏈接功能覆履，可以在數(shù)據(jù)源（業(yè)務(wù)系統(tǒng)）和DW內(nèi)建立數(shù)據(jù)庫(kù)鏈接（如DB2的聯(lián)邦數(shù)據(jù)庫(kù)NICKNAME），然后在DW內(nèi)直接SELECT訪(fǎng)問(wèn)。

• 優(yōu)點(diǎn)是實(shí)現(xiàn)使用簡(jiǎn)單硝全，邏輯簡(jiǎn)單栖雾；
• 缺點(diǎn)是容易被濫用對(duì)源數(shù)據(jù)庫(kù)造成較大的負(fù)載壓力。

1.2.2 當(dāng)數(shù)據(jù)源和ODS為不同類(lèi)型數(shù)據(jù)庫(kù)時(shí)

• 將源數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)出為文本文件伟众，利用FTP協(xié)議進(jìn)行傳輸導(dǎo)入ODS區(qū)域析藕。

• 優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，對(duì)源系統(tǒng)壓力較小凳厢。
• 缺點(diǎn)是傳輸步驟增加了账胧，處理需要的時(shí)間增加。

• 將部分?jǐn)?shù)據(jù)庫(kù)間能通過(guò)ODBC建立源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)鏈接先紫，此時(shí)也能直接使用SELECT獲取數(shù)據(jù)找爱。

• 優(yōu)點(diǎn)是實(shí)現(xiàn)使用簡(jiǎn)單，邏輯簡(jiǎn)單泡孩；
• 缺點(diǎn)是容易被濫用對(duì)源數(shù)據(jù)庫(kù)造成較大的負(fù)載壓力，且建立時(shí)較為復(fù)雜寺谤。

1.3 更新數(shù)據(jù)的時(shí)間和數(shù)量的問(wèn)題

1.3.1 實(shí)時(shí)抽取數(shù)據(jù)

這類(lèi)抽取方式在數(shù)據(jù)倉(cāng)庫(kù)中很少見(jiàn)到仑鸥，因?yàn)橐话銇?lái)說(shuō)數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)的實(shí)時(shí)性要求并不高。

實(shí)時(shí)抽取常見(jiàn)于BI中的CRM系統(tǒng)变屁，比如在實(shí)時(shí)營(yíng)銷(xiāo)中眼俊，客戶(hù)一旦進(jìn)行了某類(lèi)操作就實(shí)時(shí)觸發(fā)對(duì)應(yīng)的營(yíng)銷(xiāo)行為。

1. 時(shí)間戳方式

要求源表中存在一個(gè)或多個(gè)字段(時(shí)間戳),其值隨著新紀(jì)錄的增加而不斷增加粟关，執(zhí)行數(shù)據(jù)抽取時(shí)疮胖，程序定時(shí)循環(huán)檢查通過(guò)時(shí)間戳對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，抽取結(jié)束后闷板，程序記錄時(shí)間戳信息澎灸。

• 優(yōu)點(diǎn)是對(duì)源系統(tǒng)的侵入較小
• 缺點(diǎn)是抽取程序需要不斷掃描源系統(tǒng)的表，對(duì)其 有一定壓力

2. 觸發(fā)器方式

要求用戶(hù)在源數(shù)據(jù)庫(kù)中有創(chuàng)建觸發(fā)器和臨時(shí)表的權(quán)限遮晚，觸發(fā)器捕獲新增的數(shù)據(jù)到臨時(shí)表中性昭，執(zhí)行抽取時(shí)，程序自動(dòng)從臨時(shí)表中讀取數(shù)據(jù)县遣。

• 優(yōu)點(diǎn)是實(shí)時(shí)性極高
• 缺點(diǎn)是對(duì)源系統(tǒng)的侵入性較大糜颠，同時(shí)會(huì)對(duì)源數(shù)據(jù)庫(kù)造成很大的壓力（行級(jí)觸發(fā)器），很可能影響源系統(tǒng)的正常業(yè)務(wù)

3. 程序接口方式

改造源系統(tǒng)萧求，在修改數(shù)據(jù)時(shí)通過(guò)程序接口同步發(fā)送數(shù)據(jù)至目標(biāo)庫(kù)其兴，發(fā)送數(shù)據(jù)的動(dòng)作可以跟業(yè)務(wù)修改數(shù)據(jù)動(dòng)作脫耦，獨(dú)立發(fā)送夸政。

• 優(yōu)點(diǎn)是對(duì)源系統(tǒng)的造成壓力較小元旬，實(shí)時(shí)性較強(qiáng)；
• 缺點(diǎn)是需要對(duì)源系統(tǒng)的侵入性較強(qiáng)，需要源系統(tǒng)做較大的改造法绵。

1.3.2 批量抽取數(shù)據(jù)

為了保證數(shù)據(jù)抽取時(shí)數(shù)據(jù)的準(zhǔn)確性箕速、完整性和唯一性，同時(shí)降低抽取作業(yè)對(duì)源數(shù)據(jù)庫(kù)造成的壓力朋譬，抽取作業(yè)的加載必須避開(kāi)源數(shù)據(jù)的生成時(shí)間盐茎。

這種方法一般用于實(shí)時(shí)性要求不高的數(shù)據(jù)。

比如T+1或者每月1日進(jìn)行抽取徙赢。

1.3.2.1常用實(shí)現(xiàn)

1. 日志檢查

需要源數(shù)據(jù)庫(kù)生成數(shù)據(jù)完畢之后字柠，在外部生成日志。

抽取程序定時(shí)檢查源系統(tǒng)的執(zhí)行日志狡赐，發(fā)現(xiàn)完成標(biāo)志后發(fā)起抽取作業(yè)窑业。

• 優(yōu)點(diǎn)是可靠性高，對(duì)源數(shù)據(jù)庫(kù)造成的壓力較小枕屉。
• 缺點(diǎn)是需要源數(shù)據(jù)庫(kù)配合生成可供檢查的外部日志常柄。

2. 約定時(shí)間抽取

可以直接約定一個(gè)加載完畢同時(shí)對(duì)源數(shù)據(jù)庫(kù)壓力較小的時(shí)間（如每日凌晨2點(diǎn)），抽取程序建立定時(shí)任務(wù)搀擂，時(shí)間一到自動(dòng)發(fā)起抽取作業(yè)西潘。

• 優(yōu)點(diǎn)是對(duì)源數(shù)據(jù)庫(kù)的侵入性和造成的壓力較小哨颂；
• 缺點(diǎn)是可靠性不高喷市，可能會(huì)發(fā)生數(shù)據(jù)未生成完畢也直接進(jìn)行抽取的情況。

1.3.2.2根據(jù)下載時(shí)候?qū)?shù)據(jù)的篩選方式可以分為

1. 全量下載

適用：

• 源數(shù)據(jù)量較小威恼，如維表品姓。
• 數(shù)據(jù)變化較大，比如90%的數(shù)據(jù)都產(chǎn)生了變化的表箫措。
• 變化的數(shù)據(jù)不能預(yù)期腹备，無(wú)法標(biāo)示，如賬戶(hù)表斤蔓。

優(yōu)缺點(diǎn):

• 優(yōu)點(diǎn)在于下載較為簡(jiǎn)單且能容納任何情況的數(shù)據(jù)變化馏谨；
• 缺點(diǎn)是如果數(shù)據(jù)量較大，需要抽取相當(dāng)長(zhǎng)的時(shí)間附迷，同時(shí)會(huì)占用大量的IO和網(wǎng)絡(luò)資源惧互。

2. 增量下載

• 常用于數(shù)據(jù)只增不減的表，如交易明細(xì)表等喇伯。

感知增量的方式如下：

1. 觸發(fā)器

在要抽取的表上建立需要的觸發(fā)器喊儡，一般要建立插入、修改稻据、刪除三個(gè)觸發(fā)器艾猜，每當(dāng)源表中的數(shù)據(jù)發(fā)生變化买喧，就被相應(yīng)的觸發(fā)器將變化的數(shù)據(jù)寫(xiě)入一個(gè)臨時(shí)表，抽取線(xiàn)程從臨時(shí)表中抽取數(shù)據(jù)匆赃，臨時(shí)表中抽取過(guò)的數(shù)據(jù)被標(biāo)記或刪除淤毛。

• 優(yōu)點(diǎn)是數(shù)據(jù)抽取的性能較高，下載的數(shù)據(jù)較小算柳，速度較快低淡，占用資源少。
• 缺點(diǎn)是要求業(yè)務(wù)表建立觸發(fā)器瞬项，對(duì)業(yè)務(wù)系統(tǒng)有一定的影響蔗蹋，使用限制較大，有時(shí)候需要源系統(tǒng)進(jìn)行改造支持囱淋。

2. 時(shí)間戳

它是一種基于快照比較的變化數(shù)據(jù)捕獲方式猪杭，在源表上增加一個(gè)時(shí)間戳字段，系統(tǒng)中更新修改表數(shù)據(jù)的時(shí)候妥衣，同時(shí)修改時(shí)間戳字段的值皂吮。

當(dāng)進(jìn)行數(shù)據(jù)抽取時(shí)，通過(guò)比較系統(tǒng)時(shí)間與時(shí)間戳字段的值來(lái)決定抽取哪些數(shù)據(jù)税手。

• 有的數(shù)據(jù)庫(kù)的時(shí)間戳支持自動(dòng)更新蜂筹，即表的其它字段的數(shù)據(jù)發(fā)生改變時(shí)，自動(dòng)更新時(shí)間戳字段的值冈止。
• 有的數(shù)據(jù)庫(kù)不支持時(shí)間戳的自動(dòng)更新，這就要求業(yè)務(wù)系統(tǒng)在更新業(yè)務(wù)數(shù)據(jù)時(shí)候齿，手工更新時(shí)間戳字段熙暴。

優(yōu)缺點(diǎn)

• 優(yōu)點(diǎn)：同觸發(fā)器方式一樣，時(shí)間戳方式的性能也比較好慌盯，數(shù)據(jù)抽取相對(duì)清楚簡(jiǎn)單周霉；
• 缺點(diǎn)：對(duì)業(yè)務(wù)系統(tǒng)也有很大的傾入性（加入額外的時(shí)間戳字段），特別是對(duì)不支持時(shí)間戳的自動(dòng)更新的數(shù)據(jù)庫(kù)亚皂，還要求業(yè)務(wù)系統(tǒng)進(jìn)行額外的更新時(shí)間戳操作俱箱。
  另外，無(wú)法捕獲對(duì)時(shí)間戳以前數(shù)據(jù)的delete和update操作,在數(shù)據(jù)準(zhǔn)確性上受到了一定的限制灭必。

3. 全表比對(duì)

典型的全表比對(duì)的方式是采用MD5校驗(yàn)碼狞谱。

ETL工具事先為要抽取的表建立一個(gè)結(jié)構(gòu)類(lèi)似的MD5臨時(shí)表，該臨時(shí)表記錄源表主鍵以及根據(jù)所有字段的數(shù)據(jù)計(jì)算出來(lái)的MD5校驗(yàn)碼禁漓。

每次進(jìn)行數(shù)據(jù)抽取時(shí)跟衅，對(duì)源表和MD5臨時(shí)表進(jìn)行MD5校驗(yàn)碼的比對(duì)，從而決定源表中的數(shù)據(jù)是新增播歼、修改還是刪除伶跷，同時(shí)更新MD5校驗(yàn)碼。

• 優(yōu)點(diǎn)是對(duì)源系統(tǒng)的傾入性較小（僅需要建立一個(gè)MD5臨時(shí)表）
• 缺點(diǎn)也是顯而易見(jiàn)的叭莫，與觸發(fā)器和時(shí)間戳方式中的主動(dòng)通知不同蹈集，MD5方式是被動(dòng)的進(jìn)行全表數(shù)據(jù)的比對(duì)，性能較差雇初。
  當(dāng)表中沒(méi)有主鍵或唯一列且含有重復(fù)記錄時(shí)拢肆，MD5方式的準(zhǔn)確性較差。

4. 日志對(duì)比

• 通過(guò)分析數(shù)據(jù)庫(kù)自身的日志來(lái)判斷變化的數(shù)據(jù)抵皱。

ETL處理的數(shù)據(jù)源除了關(guān)系數(shù)據(jù)庫(kù)外善榛，還可能是文件，例如txt文件呻畸、excel文件移盆、xml文件等。

對(duì)文件數(shù)據(jù)的抽取一般是進(jìn)行全量抽取伤为，一次抽取前可保存文件的時(shí)間戳或計(jì)算文件的MD5校驗(yàn)碼咒循，下次抽取時(shí)進(jìn)行比對(duì)，如果相同則可忽略本次抽取绞愚。

2. 轉(zhuǎn)換作業(yè)

這一步包含了數(shù)據(jù)的清洗和轉(zhuǎn)換叙甸。

從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿(mǎn)足目的庫(kù)的要求，例如數(shù)據(jù)格式的不一致位衩、數(shù)據(jù)輸入錯(cuò)誤裆蒸、數(shù)據(jù)不完整等等，因此有必要對(duì)抽取出的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工糖驴。

數(shù)據(jù)的轉(zhuǎn)換和加工可以在ETL引擎中進(jìn)行僚祷，也可以在數(shù)據(jù)抽取過(guò)程中利用關(guān)系數(shù)據(jù)庫(kù)的特性同時(shí)進(jìn)行。

2.1 數(shù)據(jù)清洗

任務(wù)是過(guò)濾不符合條件或者錯(cuò)誤的數(shù)據(jù)贮缕。

這一步常常出現(xiàn)在剛剛開(kāi)始建立數(shù)據(jù)倉(cāng)庫(kù)或者源業(yè)務(wù)系統(tǒng)仍未成熟的時(shí)候辙谜，此時(shí)發(fā)現(xiàn)錯(cuò)誤數(shù)據(jù)需要聯(lián)系源業(yè)務(wù)系統(tǒng)進(jìn)行更正，部分可預(yù)期的空值或者測(cè)試用數(shù)據(jù)可以過(guò)濾掉感昼。

2.2 數(shù)據(jù)轉(zhuǎn)換和加工

這一步是整個(gè)ETL流程中最為占用時(shí)間和資源的一步装哆。

數(shù)據(jù)轉(zhuǎn)換包含了簡(jiǎn)單的數(shù)據(jù)不一致轉(zhuǎn)換，數(shù)據(jù)粒度轉(zhuǎn)換和耗時(shí)的數(shù)據(jù)關(guān)聯(lián)整合或拆分動(dòng)作定嗓。

這里可能存在各種各樣千奇百怪的需求蜕琴。

對(duì)于核心數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)，里面往往是對(duì)數(shù)據(jù)進(jìn)行按照主題劃分合并的動(dòng)作宵溅。

同時(shí)奸绷，也會(huì)添加一些為了提升執(zhí)行效率而進(jìn)行反范式化添加的冗余字段。

數(shù)據(jù)的轉(zhuǎn)換和加工可以在ETL引擎中進(jìn)行层玲，也可以在數(shù)據(jù)抽取過(guò)程中利用關(guān)系數(shù)據(jù)庫(kù)的特性同時(shí)進(jìn)行号醉。

根據(jù)實(shí)現(xiàn)方式的不同反症，可以區(qū)分為使用數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程轉(zhuǎn)換和使用高級(jí)語(yǔ)言轉(zhuǎn)換

2.2.1 ETL引擎中的數(shù)據(jù)轉(zhuǎn)換和加工

ETL引擎中一般以組件化的方式實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換。

常用的數(shù)據(jù)轉(zhuǎn)換組件有字段映射畔派、數(shù)據(jù)過(guò)濾铅碍、數(shù)據(jù)清洗、數(shù)據(jù)替換线椰、數(shù)據(jù)計(jì)算胞谈、數(shù)據(jù)驗(yàn)證、數(shù)據(jù)加解密憨愉、數(shù)據(jù)合并烦绳、數(shù)據(jù)拆分等。

這些組件如同一條流水線(xiàn)上的一道道工序配紫，它們是可插拔的径密，且可以任意組裝，各組件之間通過(guò)數(shù)據(jù)總線(xiàn)共享數(shù)據(jù)躺孝。

有些ETL工具還提供了腳本支持享扔，使得用戶(hù)可以以一種編程的方式定制數(shù)據(jù)的轉(zhuǎn)換和加工行為。

2.2.2 在數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)加工

關(guān)系數(shù)據(jù)庫(kù)本身已經(jīng)提供了強(qiáng)大的SQL植袍、函數(shù)來(lái)支持?jǐn)?shù)據(jù)的加工惧眠，如在SQL查詢(xún)語(yǔ)句中添加where條件進(jìn)行過(guò)濾，查詢(xún)中重命名字段名與目的表進(jìn)行映射于个，substr函數(shù)氛魁，case條件判斷等等。

下面是一個(gè)SQL查詢(xún)的例子厅篓。

select ID as USERID, substr(TITLE, 1, 20) as TITLE, case when REMARK is null then ' ' else REMARK end as CONTENT from TB_REMARK where ID > 100;

相比在ETL引擎中進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工秀存，直接在SQL語(yǔ)句中進(jìn)行轉(zhuǎn)換和加工更加簡(jiǎn)單清晰，性能更高贷笛。

對(duì)于SQL語(yǔ)句無(wú)法處理的可以交由ETL引擎處理应又。

2.2.3 使用數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程轉(zhuǎn)換

使用SQL開(kāi)發(fā)存儲(chǔ)過(guò)程完成轉(zhuǎn)換作業(yè)是很多銀行常用的方法宙项。

• 優(yōu)點(diǎn)是開(kāi)發(fā)簡(jiǎn)單乏苦、能支持絕大部分轉(zhuǎn)換場(chǎng)景；
• 缺點(diǎn)在于占用資源多且受制于單一數(shù)據(jù)庫(kù)性能尤筐，無(wú)法做到橫向擴(kuò)展汇荐。

因此，除了業(yè)務(wù)的理解能力外盆繁，對(duì)SQL海量數(shù)據(jù)處理的優(yōu)化能力在此也非常重要掀淘。

比如:

• 利用數(shù)據(jù)庫(kù)的分區(qū)性，選擇良好的分區(qū)鍵油昂。
• 建表時(shí)合理選擇主鍵和索引革娄，關(guān)聯(lián)時(shí)候必須使用主鍵或索引進(jìn)行關(guān)聯(lián)倾贰。
• 關(guān)注數(shù)據(jù)庫(kù)對(duì)SQL的流程優(yōu)化邏輯，盡量選擇拆分復(fù)雜SQL拦惋，引導(dǎo)數(shù)據(jù)庫(kù)根據(jù)你選擇流程進(jìn)行數(shù)據(jù)處理
• 合理反范式化設(shè)計(jì)表匆浙，留出適當(dāng)?shù)娜哂嘧侄危瑴p少關(guān)聯(lián)動(dòng)作厕妖。

具體的優(yōu)化根據(jù)不同的數(shù)據(jù)庫(kù)有著不同的處理方式首尼，根據(jù)所選用的數(shù)據(jù)庫(kù)不同而定。

2.2.4 使用高級(jí)語(yǔ)言轉(zhuǎn)換

使用高級(jí)語(yǔ)言包含了常用的開(kāi)發(fā)C/C++/JAVA等程序?qū)Τ槿〉臄?shù)據(jù)進(jìn)行預(yù)處理言秸。

• 優(yōu)點(diǎn)是運(yùn)行效率較高软能，可以通過(guò)橫向擴(kuò)展服務(wù)器數(shù)量來(lái)提高系統(tǒng)的轉(zhuǎn)換作業(yè)處理能力；
• 缺點(diǎn)是開(kāi)發(fā)較為復(fù)雜举畸，同時(shí)雖然能進(jìn)行較為復(fù)雜的邏輯的開(kāi)發(fā)查排，但是對(duì)于大數(shù)據(jù)量的關(guān)聯(lián)的支持能力較弱，特別是有復(fù)數(shù)的服務(wù)器并行處理的時(shí)候俱恶。

3. 加載作業(yè)

將轉(zhuǎn)換和加工后的數(shù)據(jù)裝載到目的庫(kù)中通常是ETL過(guò)程的最后步驟雹嗦。

轉(zhuǎn)換作業(yè)生成的數(shù)據(jù)有可能直接插入目標(biāo)數(shù)據(jù)庫(kù)，一般來(lái)說(shuō)合是，這種情況常見(jiàn)于使用數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程進(jìn)行轉(zhuǎn)換作業(yè)的方案了罪。

此時(shí)，ETL作業(yè)位于目標(biāo)數(shù)據(jù)庫(kù)上聪全，加載作業(yè)只需要使用INSERT或者LOAD的方式導(dǎo)入目標(biāo)表即可泊藕。

此時(shí)轉(zhuǎn)換作業(yè)和加載作業(yè)往往是在同一加工中完成的。

當(dāng)使用高級(jí)語(yǔ)言開(kāi)發(fā)時(shí)难礼，ETL作業(yè)有著專(zhuān)門(mén)的ETL服務(wù)器娃圆，此時(shí)，轉(zhuǎn)換作業(yè)生成的往往是文本文件蛾茉，在轉(zhuǎn)換作業(yè)完成后需要使用目標(biāo)庫(kù)特有的工具導(dǎo)入或者通過(guò)INSERT入目標(biāo)庫(kù)讼呢。

同時(shí)，根據(jù)抽取作業(yè)的數(shù)據(jù)抽取方式的不同（全量谦炬、增量）悦屏，對(duì)目標(biāo)表進(jìn)行替換或者插入動(dòng)作。

裝載數(shù)據(jù)的最佳方法取決于所執(zhí)行操作的類(lèi)型以及需要裝入多少數(shù)據(jù)键思。當(dāng)目的庫(kù)是關(guān)系數(shù)據(jù)庫(kù)時(shí)础爬，一般來(lái)說(shuō)有兩種裝載方式：

1. 直接SQL語(yǔ)句進(jìn)行insert、update吼鳞、delete操作看蚜。
2. 采用批量裝載方法，如bcp赔桌、bulk供炎、關(guān)系數(shù)據(jù)庫(kù)特有的批量裝載工具或api渴逻。

大多數(shù)情況下會(huì)使用第一種方法，因?yàn)樗鼈冞M(jìn)行了日志記錄并且是可恢復(fù)的音诫。

但是裸卫，批量裝載操作易于使用，并且在裝入大量數(shù)據(jù)時(shí)效率較高纽竣。使用哪種數(shù)據(jù)裝載方法取決于業(yè)務(wù)系統(tǒng)的需要墓贿。

4. 流程控制

抽取加載和轉(zhuǎn)換作業(yè)需要一個(gè)集中的調(diào)度平臺(tái)控制他們的運(yùn)行，決定執(zhí)行順序蜓氨，進(jìn)行錯(cuò)誤捕捉和處理聋袋。

較為原始的ETL系統(tǒng)就是使用CRON做定時(shí)控制，定時(shí)調(diào)起相應(yīng)的程序或者存儲(chǔ)過(guò)程穴吹。

但是這種方式過(guò)于原始幽勒，只能進(jìn)行簡(jiǎn)單的調(diào)起動(dòng)作，無(wú)法實(shí)現(xiàn)流程依賴(lài)行為港令，同時(shí)按步執(zhí)行的流程控制能力也弱啥容，錯(cuò)誤處理能力幾乎沒(méi)有。

只適合于極其簡(jiǎn)單的情況顷霹。

對(duì)于自行開(kāi)發(fā)的較為完善的ETL系統(tǒng)咪惠，往往需要具有以下幾個(gè)能力：

• 流程步驟控制能力

調(diào)度平臺(tái)必須能夠控制整個(gè)ETL流程（抽取加載和轉(zhuǎn)換作業(yè)），進(jìn)行集中化管理淋淀，不能有流程游離于系統(tǒng)外部遥昧。

• 系統(tǒng)的劃分和前后流程的依賴(lài)

由于整個(gè)ETL系統(tǒng)里面可能跨越數(shù)十個(gè)業(yè)務(wù)系統(tǒng)，開(kāi)發(fā)人員有數(shù)十撥人朵纷，必須支持按照業(yè)務(wù)系統(tǒng)對(duì)ETL流程進(jìn)行劃分管理的能力炭臭。

同時(shí)必須具有根據(jù)流程依賴(lài)進(jìn)行調(diào)度的能力，使得適當(dāng)?shù)牧鞒棠茉谶m當(dāng)?shù)臅r(shí)間調(diào)起袍辞。

• 合理的調(diào)度算法

同一時(shí)間調(diào)起過(guò)多流程可能造成對(duì)源數(shù)據(jù)庫(kù)和ETL服務(wù)器還有目標(biāo)數(shù)據(jù)庫(kù)形成較大負(fù)載壓力鞋仍，故必須有較為合理的調(diào)度算法。

• 日志和警告系統(tǒng)

必須對(duì)每一步的流程記錄日志搅吁，起始時(shí)間威创，完成時(shí)間，錯(cuò)誤原因等似芝，方便ETL流程開(kāi)發(fā)人員檢查錯(cuò)誤那婉。

對(duì)于發(fā)生錯(cuò)誤的流程板甘，能及時(shí)通知錯(cuò)誤人員進(jìn)行錯(cuò)誤檢查和修復(fù)党瓮。

• 較高可靠性

5. 常用商業(yè)ETL工具

常用的ETL工具有Ascential公司的Datastage、Informatica公司的Powercenter盐类、 NCR Teradata公司的ETL Automation等寞奸。

• Datastage
  是使用高級(jí)語(yǔ)言進(jìn)行開(kāi)發(fā)ETL服務(wù)器的代表呛谜。使用JAVA進(jìn)行開(kāi)發(fā)E/T/L的整個(gè)流程，同時(shí)支持平行添加服務(wù)器提升處理效率的方法枪萄。
• Powercenter
  與Datastage類(lèi)似隐岛，但元數(shù)據(jù)更加開(kāi)放，存放在關(guān)系數(shù)據(jù)庫(kù)中瓷翻，可以很容易被訪(fǎng)問(wèn)聚凹。再有Powercenter不能像Datastage運(yùn)行多個(gè)實(shí)例，且不支持定制開(kāi)發(fā)齐帚，參數(shù)控制更亂妒牙。
• Automation
  基于Teradata的TD數(shù)據(jù)庫(kù)的ETL調(diào)度框架。其ETL流程是使用DSQL的存儲(chǔ)過(guò)程進(jìn)行開(kāi)發(fā)对妄，利用TD數(shù)據(jù)庫(kù)的海量數(shù)據(jù)處理能力湘今，也具有一定的平行擴(kuò)展能力。

名詞解釋?zhuān)?br> DW(Data Warehouse) : 數(shù)據(jù)倉(cāng)庫(kù)https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93
ODS（Operational Data Store）：https://zh.wikipedia.org/wiki/ODS
CRM（customer relationship management）：客戶(hù)關(guān)系管理https://zh.wikipedia.org/wiki/%E5%AE%A2%E6%88%B7%E5%85%B3%E7%B3%BB%E7%AE%A1%E7%90%86
BI(Business Intelligence):商業(yè)智能
https://baike.baidu.com/item/BI/4579902

參見(jiàn)：
ETL流程概述及常用實(shí)現(xiàn)方法：https://blog.csdn.net/btkuangxp/article/details/48224187
ETL介紹與ETL工具比較：
https://blog.csdn.net/wl044090432/article/details/60329843