什么是ETL简卧？
一、ETL概念之背景
隨著企業(yè)的發(fā)展族跛，目前的業(yè)務(wù)線越來越復(fù)雜闰挡，各個(gè)業(yè)務(wù)系統(tǒng)獨(dú)立運(yùn)營。例如：CRM系統(tǒng)只會(huì)生產(chǎn)CRM的 數(shù)據(jù)礁哄；Billing只會(huì)生產(chǎn)Billing的數(shù)據(jù)长酗。各業(yè)務(wù)系統(tǒng)之間只關(guān)心自己的數(shù)據(jù)，導(dǎo)致各業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)相互獨(dú)立桐绒，互不相通夺脾。一旦業(yè)務(wù)系統(tǒng)之間進(jìn)行數(shù)據(jù)交互，只能通過傳統(tǒng)的webservice接口之間進(jìn)行數(shù)據(jù)通信茉继。該種方式對(duì)人力成本咧叭、時(shí)間成本要求比較高。也就是說：需要成熟的開發(fā)人員才能編寫響應(yīng)的webservice接口進(jìn)行數(shù)據(jù)通信烁竭。而ETL的誕生就解決了此類問題菲茬，企業(yè)不需要技術(shù)很好、很成熟的開發(fā)人員一樣可以完成該任務(wù)颖变。而且可以比優(yōu)秀的開發(fā)人員完成的更好生均，致使人力成本更低。這些都是企業(yè)所迫切需要的腥刹，有此誕生了ETL马胧。
圖1-1 傳統(tǒng)的數(shù)據(jù)交換
圖1-2 ETL數(shù)據(jù)交換
二、ETL概念之工作流程
ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽认畏濉（Extract）佩脊、清洗轉(zhuǎn)換（Transform）之后加載（Load）到數(shù)據(jù)倉庫的過程蛙粘，目的是將企業(yè)中的分散、零亂威彰、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起出牧，為企業(yè)的決策提供分析依據(jù)。?
圖1-3 ETL流程圖
ETL工作流程：先抽取歇盼、然后加載到目標(biāo)數(shù)據(jù)庫中舔痕、在目標(biāo)數(shù)據(jù)庫中完成轉(zhuǎn)換操作。在ELT架構(gòu)中豹缀，ELT只負(fù)責(zé)提供圖形化的界面來設(shè)計(jì)業(yè)務(wù)規(guī)則伯复，數(shù)據(jù)的整個(gè)加工過程都在目標(biāo)和源的數(shù)據(jù)庫之間流動(dòng)，ELT協(xié)調(diào)相關(guān)的數(shù)據(jù)庫系統(tǒng)來執(zhí)行相關(guān)的應(yīng)用邢笙，數(shù)據(jù)加工過程既可以在源數(shù)據(jù)庫端執(zhí)行啸如，也可以在目標(biāo)數(shù)據(jù)倉庫端執(zhí)行（主要取決于系統(tǒng)的架構(gòu)設(shè)計(jì)和數(shù)據(jù)屬性）。
三氮惯、ETL概念之操作步驟
ETL處理分為五大模塊叮雳，分別是：數(shù)據(jù)抽取、數(shù)據(jù)清洗妇汗、庫內(nèi)轉(zhuǎn)換帘不、規(guī)則檢查、數(shù)據(jù)加載铛纬。各模塊可靈活進(jìn)行組合厌均，形成ETL處理流程。簡單介紹一下各個(gè)模塊之間的主要功能告唆。
數(shù)據(jù)抽取?確定數(shù)據(jù)源棺弊，需要確定從哪些源系統(tǒng)進(jìn)行數(shù)據(jù)抽取
定義數(shù)據(jù)接口，對(duì)每個(gè)源文件及系統(tǒng)的每個(gè)字段進(jìn)行詳細(xì)說明
確定數(shù)據(jù)抽取的方法：是主動(dòng)抽取還是由源系統(tǒng)推送擒悬？是增量抽取還是全量抽饶Ｋ？是按照每日抽取還是按照每月抽榷痢侈净？
數(shù)據(jù)清洗與轉(zhuǎn)換?數(shù)據(jù)清洗 主要將不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)僧凤、重復(fù)數(shù)據(jù)進(jìn)行處理
數(shù)據(jù)轉(zhuǎn)換：
1）空值處理：可捕獲字段空值畜侦，進(jìn)行加載或替換為其他含義數(shù)據(jù)，或數(shù)據(jù)分流問題庫
2）數(shù)據(jù)標(biāo)準(zhǔn)：統(tǒng)一元數(shù)據(jù)躯保、統(tǒng)一標(biāo)準(zhǔn)字段旋膳、統(tǒng)一字段類型定義
3）數(shù)據(jù)拆分：依據(jù)業(yè)務(wù)需求做數(shù)據(jù)拆分，如身份證號(hào)途事，拆分區(qū)劃验懊、出生日期擅羞、性別等
4）數(shù)據(jù)驗(yàn)證：時(shí)間規(guī)則、業(yè)務(wù)規(guī)則义图、自定義規(guī)則
5）數(shù)據(jù)替換：對(duì)于因業(yè)務(wù)因素减俏，可實(shí)現(xiàn)無效數(shù)據(jù)、缺失數(shù)據(jù)的替換
6）數(shù)據(jù)關(guān)聯(lián)：關(guān)聯(lián)其他數(shù)據(jù)或數(shù)學(xué)碱工，保障數(shù)據(jù)完整性?數(shù)據(jù)加載?將數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)直接加載到數(shù)據(jù)庫對(duì)應(yīng)表中娃承，如果是全量方式則采用LOAD方式，如果是增量則根據(jù)業(yè)務(wù)規(guī)則
MERGE進(jìn)數(shù)據(jù)庫
