一袱巨、ETL發(fā)展的歷史背景

隨著企業(yè)的發(fā)展阁谆，各業(yè)務(wù)線、產(chǎn)品線愉老、部門都會(huì)承建各種信息化系統(tǒng)方便開展自己的業(yè)務(wù)场绿。隨著信息化建設(shè)的不斷深入，由于業(yè)務(wù)系統(tǒng)之間各自為政俺夕、相互獨(dú)立造成的數(shù)據(jù)孤島”現(xiàn)象尤為普遍裳凸，業(yè)務(wù)不集成、流程不互通劝贸、數(shù)據(jù)不共享姨谷。這給企業(yè)進(jìn)行數(shù)據(jù)的分析利用、報(bào)表開發(fā)映九、分析挖掘等帶來了巨大困難梦湘。

在此情況下，為了實(shí)現(xiàn)企業(yè)全局?jǐn)?shù)據(jù)的系統(tǒng)化運(yùn)作管理（信息孤島、數(shù)據(jù)統(tǒng)計(jì)捌议、數(shù)據(jù)分析哼拔、數(shù)據(jù)挖掘），為DSS（決策支持系統(tǒng)）瓣颅、BI（商務(wù)智能）倦逐、經(jīng)營分析系統(tǒng)等深度開發(fā)應(yīng)用奠定基礎(chǔ)，挖掘數(shù)據(jù)價(jià)值 宫补，企業(yè)會(huì)開始著手建立數(shù)據(jù)倉庫檬姥，數(shù)據(jù)中臺(tái)。將相互分離的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源整合在一起粉怕，建立一個(gè)統(tǒng)一的數(shù)據(jù)采集健民、處理、存儲(chǔ)贫贝、分發(fā)秉犹、共享中心，從而使公司的成員能夠從不同業(yè)務(wù)部門查看綜合數(shù)據(jù)稚晚，而這個(gè)過程中使用的數(shù)據(jù)處理方法之一就是ETL崇堵。

ETL是數(shù)據(jù)中心建設(shè)、BI分析項(xiàng)目中不可或缺的環(huán)節(jié)蜈彼。各個(gè)業(yè)務(wù)系統(tǒng)中分布的筑辨、異構(gòu)的數(shù)據(jù)源，經(jīng)過ETL過程的數(shù)據(jù)抽取幸逆、轉(zhuǎn)換，最終存儲(chǔ)到目標(biāo)數(shù)據(jù)庫或者數(shù)據(jù)倉庫暮现，為上層BI數(shù)據(jù)分析还绘，或其他業(yè)務(wù)功能做數(shù)據(jù)支撐。

二栖袋、什么是ETL

ETL拍顷，Extract-Transform-Load的縮寫，是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取塘幅、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程昔案。ETL是數(shù)據(jù)集成的第一步，也是構(gòu)建數(shù)據(jù)倉庫最重要的步驟电媳，目的是將企業(yè)中的分散踏揣、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起匾乓，為企業(yè)的決策提供分析依據(jù)捞稿。ETL一詞較常用在數(shù)據(jù)倉庫，但其對(duì)象并不限于數(shù)據(jù)倉庫。

舉個(gè)例子娱局，某電商公司分析人員根據(jù)訂單數(shù)據(jù)進(jìn)行用戶特征分析彰亥。這時(shí)需要基于訂單數(shù)據(jù)，計(jì)算一些相應(yīng)的分析指標(biāo)衰齐，如每個(gè)用戶的消費(fèi)頻次任斋，銷售額最大的單品，用戶復(fù)購時(shí)間間隔等耻涛，這些指標(biāo)都要通過計(jì)算轉(zhuǎn)換得到废酷。

三、ETL的流程

ETL如同它代表的三個(gè)英文單詞犬第，涉及三個(gè)獨(dú)立的過程：抽取锦积、轉(zhuǎn)換和加載。工作流程往往作為一個(gè)正在進(jìn)行的過程來實(shí)現(xiàn)歉嗓，各模塊可靈活進(jìn)行組合丰介，形成ETL處理流程。

1.數(shù)據(jù)抽取

數(shù)據(jù)抽取指的是從不同的網(wǎng)絡(luò)鉴分、不同的操作平臺(tái)哮幢、不同的數(shù)據(jù)庫和數(shù)據(jù)格式、不同的應(yīng)用中抽取數(shù)據(jù)的過程志珍。目標(biāo)源可能包括ERP橙垢、CRM和其他企業(yè)系統(tǒng)，以及來自第三方源的數(shù)據(jù)伦糯。

不同的系統(tǒng)傾向于使用不同的數(shù)據(jù)格式柜某，在這個(gè)過程中，首先需要結(jié)合業(yè)務(wù)需求確定抽取的字段敛纲，形成一張公共需求表頭喂击，并且數(shù)據(jù)庫字段也應(yīng)與這些需求字段形成一一映射關(guān)系。這樣通過數(shù)據(jù)抽取所得到的數(shù)據(jù)都具有統(tǒng)一淤翔、規(guī)整的字段內(nèi)容翰绊，為后續(xù)的數(shù)據(jù)轉(zhuǎn)換和加載提供基礎(chǔ)，具體步驟如下：

①確定數(shù)據(jù)源旁壮，需要確定從哪些源系統(tǒng)進(jìn)行數(shù)據(jù)抽取

②定義數(shù)據(jù)接口监嗜，對(duì)每個(gè)源文件及系統(tǒng)的每個(gè)字段進(jìn)行詳細(xì)說明

③確定數(shù)據(jù)抽取的方法：是主動(dòng)抽取還是由源系統(tǒng)推送？是增量抽取還是全量抽嚷招场裁奇？是按照每日抽取還是按照每月抽取童叠？

2.數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換實(shí)際上還包含了數(shù)據(jù)清洗的工作框喳，需要根據(jù)業(yè)務(wù)規(guī)則對(duì)異常數(shù)據(jù)進(jìn)行清洗课幕，主要將不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)五垮、重復(fù)數(shù)據(jù)進(jìn)行處理乍惊，保證后續(xù)分析結(jié)果的準(zhǔn)確性。

數(shù)據(jù)轉(zhuǎn)換就是處理抽取上來的數(shù)據(jù)中存在的不一致的過程放仗。數(shù)據(jù)轉(zhuǎn)換一般包括兩類：第一類：數(shù)據(jù)名稱及格式的統(tǒng)一润绎，即數(shù)據(jù)粒度轉(zhuǎn)換、商務(wù)規(guī)則計(jì)算以及統(tǒng)一的命名诞挨、數(shù)據(jù)格式莉撇、計(jì)量單位等；第二類：數(shù)據(jù)倉庫中存在源數(shù)據(jù)庫中可能不存在的數(shù)據(jù)惶傻，因此需要進(jìn)行字段的組合棍郎、分割或計(jì)算。主要涉及以下幾個(gè)方面：

①空值處理：可捕獲字段空值银室，進(jìn)行加載或替換為其他含義數(shù)據(jù)涂佃，或數(shù)據(jù)分流問題庫

②數(shù)據(jù)標(biāo)準(zhǔn)：統(tǒng)一元數(shù)據(jù)、統(tǒng)一標(biāo)準(zhǔn)字段蜈敢、統(tǒng)一字段類型定義

③數(shù)據(jù)拆分：依據(jù)業(yè)務(wù)需求做數(shù)據(jù)拆分辜荠，如身份證號(hào)，拆分區(qū)劃抓狭、出生日期伯病、性別等

④數(shù)據(jù)驗(yàn)證：時(shí)間規(guī)則、業(yè)務(wù)規(guī)則否过、自定義規(guī)則

⑤數(shù)據(jù)替換：對(duì)于因業(yè)務(wù)因素午笛，可實(shí)現(xiàn)無效數(shù)據(jù)、缺失數(shù)據(jù)的替換

⑥數(shù)據(jù)關(guān)聯(lián)：關(guān)聯(lián)其他數(shù)據(jù)或數(shù)學(xué)苗桂，保障數(shù)據(jù)完整性

3.數(shù)據(jù)加載

數(shù)據(jù)加載的主要任務(wù)是將經(jīng)過清洗后的干凈的數(shù)據(jù)集按照物理數(shù)據(jù)模型定義的表結(jié)構(gòu)裝入目標(biāo)數(shù)據(jù)倉庫的數(shù)據(jù)表中季研，如果是全量方式則采用LOAD方式，如果是增量則根據(jù)業(yè)務(wù)規(guī)則MERGE進(jìn)數(shù)據(jù)庫誉察，并允許人工干預(yù)，以及提供強(qiáng)大的錯(cuò)誤報(bào)告惹谐、系統(tǒng)日志持偏、數(shù)據(jù)備份與恢復(fù)功能。整個(gè)操作過程往往要跨網(wǎng)絡(luò)氨肌、跨操作平臺(tái)鸿秆。

在實(shí)際的工作中，數(shù)據(jù)加載需要結(jié)合使用的數(shù)據(jù)庫系統(tǒng)（Oracle怎囚、Mysql卿叽、Spark桥胞、Impala等），確定最優(yōu)的數(shù)據(jù)加載方案考婴，節(jié)約CPU贩虾、硬盤IO和網(wǎng)絡(luò)傳輸資源。

四沥阱、ETL與ELT有什么區(qū)別

ETL架構(gòu)按其字面含義理解就是按照E-T-L這個(gè)順序流程進(jìn)行處理的架構(gòu)：先抽取缎罢、然后轉(zhuǎn)換、完成后加載到目標(biāo)數(shù)據(jù)庫中考杉。

在ETL架構(gòu)中策精，數(shù)據(jù)的流向是從源數(shù)據(jù)流到ETL工具，ETL工具是一個(gè)單獨(dú)的數(shù)據(jù)處理引擎，一般會(huì)在單獨(dú)的硬件服務(wù)器上，實(shí)現(xiàn)所有數(shù)據(jù)轉(zhuǎn)化的工作沟优，然后將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)倉庫中嗦明。如果要增加整個(gè)ETL過程的效率，則只能增強(qiáng)ETL工具服務(wù)器的配置含懊，優(yōu)化系統(tǒng)處理流程（一般可調(diào)的東西非常少）。

ELT架構(gòu)則把“L”這一步工作提前到“T”之前來完成：先抽取、然后加載到目標(biāo)數(shù)據(jù)庫中范抓、在目標(biāo)數(shù)據(jù)庫中完成轉(zhuǎn)換操作。在ELT架構(gòu)中食铐，ELT只負(fù)責(zé)提供圖形化的界面來設(shè)計(jì)業(yè)務(wù)規(guī)則匕垫，數(shù)據(jù)的整個(gè)加工過程都在目標(biāo)和源的數(shù)據(jù)庫之間流動(dòng)，ELT協(xié)調(diào)相關(guān)的數(shù)據(jù)庫系統(tǒng)來執(zhí)行相關(guān)的應(yīng)用虐呻，數(shù)據(jù)加工過程既可以在源數(shù)據(jù)庫端執(zhí)行象泵，也可以在目標(biāo)數(shù)據(jù)倉庫端執(zhí)行（主要取決于系統(tǒng)的架構(gòu)設(shè)計(jì)和數(shù)據(jù)屬性）。當(dāng)ETL過程需要提高效率斟叼，則可以通過對(duì)相關(guān)數(shù)據(jù)庫進(jìn)行調(diào)優(yōu)偶惠，或者改變執(zhí)行加工的服務(wù)器就可以達(dá)到。

ELT架構(gòu)的特殊優(yōu)勢(shì)：①ELT主要通過數(shù)據(jù)庫引擎來實(shí)現(xiàn)系統(tǒng)的可擴(kuò)展性朗涩；②ELT可以保持所有的數(shù)據(jù)始終在數(shù)據(jù)庫當(dāng)中忽孽，避免數(shù)據(jù)的加載和導(dǎo)出，從而保證效率谢床，提高系統(tǒng)的可監(jiān)控性兄一；③ELT可以根據(jù)數(shù)據(jù)的分布情況進(jìn)行并行處理優(yōu)化，并可以利用數(shù)據(jù)庫的固有功能優(yōu)化磁盤I/O识腿；④ELT的可擴(kuò)展性取決于數(shù)據(jù)庫引擎和其硬件服務(wù)器的可擴(kuò)展性出革；⑤通過對(duì)相關(guān)數(shù)據(jù)庫進(jìn)行性能調(diào)優(yōu)，ELT過程獲得3到4倍的效率提升一般不是特別困難渡讼。

（1）當(dāng)您想要執(zhí)行復(fù)雜的計(jì)算時(shí)骂束，ETL工具比數(shù)據(jù)倉庫或數(shù)據(jù)池更有效

（2）如果要在加載到目標(biāo)存儲(chǔ)之前進(jìn)行大量數(shù)據(jù)清理耳璧。ETL是一種更好的解決方案，因?yàn)槟粫?huì)將不需要的數(shù)據(jù)移動(dòng)到目標(biāo)展箱。

（3）當(dāng)您僅使用結(jié)構(gòu)化數(shù)據(jù)或傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)倉庫時(shí)旨枯。ETL工具通常最有效地將結(jié)構(gòu)化數(shù)據(jù)從一個(gè)環(huán)境移動(dòng)到另一個(gè)環(huán)境。

（4）當(dāng)你想要擴(kuò)展補(bǔ)充數(shù)據(jù)時(shí)析藕。如果要在將數(shù)據(jù)移動(dòng)到目標(biāo)存儲(chǔ)時(shí)擴(kuò)展補(bǔ)充數(shù)據(jù)召廷，則需要使用ETL工具。例如账胧，添加時(shí)間戳竞慢。

五、如何才能做好ETL

1.數(shù)據(jù)抽取設(shè)計(jì)

數(shù)據(jù)的抽取需要在調(diào)研階段做大量工作治泥，要搞清楚以下幾個(gè)問題：數(shù)據(jù)是從幾個(gè)業(yè)務(wù)系統(tǒng)中來筹煮？各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫服務(wù)器運(yùn)行什么DBMS？是否存在手工數(shù)據(jù)居夹，手工數(shù)據(jù)量有多大败潦？是否存在非結(jié)構(gòu)化的數(shù)據(jù)？等等類似問題准脂，當(dāng)收集完這些信息之后進(jìn)行數(shù)據(jù)抽取的設(shè)計(jì)劫扒。常見的數(shù)據(jù)抽取設(shè)計(jì)方式有四種：

（1）與存放DW的數(shù)據(jù)庫系統(tǒng)相同的數(shù)據(jù)源處理方法

這一類數(shù)源在設(shè)計(jì)比較容易，一般情況下狸膏，DBMS(包括SQLServer沟饥，Oracle)都會(huì)提供數(shù)據(jù)庫鏈接功能，在DW數(shù)據(jù)庫服務(wù)器和原業(yè)務(wù)系統(tǒng)之間建立直接的鏈接關(guān)系就可以寫Select 語句直接訪問湾戳。

（2）與DW數(shù)據(jù)庫系統(tǒng)不同的數(shù)據(jù)源的處理方法

這一類數(shù)據(jù)源一般情況下也可以通過ODBC的方式建立數(shù)據(jù)庫鏈接贤旷，如SQL Server和Oracle之間。如果不能建立數(shù)據(jù)庫鏈接砾脑，可以有兩種方式完成幼驶，一種是通過工具將源數(shù)據(jù)導(dǎo)出成.txt或者是.xls文件，然后再將這些源系統(tǒng)文件導(dǎo)入到ODS中韧衣。另外一種方法通過程序接口來完成盅藻。

（3）對(duì)于文件類型數(shù)據(jù)源（.txt，.xls）

可以培訓(xùn)業(yè)務(wù)人員利用數(shù)據(jù)庫工具將這些數(shù)據(jù)導(dǎo)入到指定的數(shù)據(jù)庫畅铭，然后從指定的數(shù)據(jù)庫抽取萧求。或者可以借助工具實(shí)現(xiàn)顶瞒，如SQL SERVER 2005的SSIS服務(wù)的平面數(shù)據(jù)源和平面目標(biāo)等組件導(dǎo)入ODS中去。

（4）增量更新問題

對(duì)于數(shù)據(jù)量大的系統(tǒng)元旬，必須考慮增量抽取榴徐。一般情況守问，業(yè)務(wù)系統(tǒng)會(huì)記錄業(yè)務(wù)發(fā)生的時(shí)間，可以用作增量的標(biāo)志坑资，每次抽取之前首先判斷ODS中記錄最大的時(shí)間耗帕，然后根據(jù)這個(gè)時(shí)間去業(yè)務(wù)系統(tǒng)取大于這個(gè)時(shí)間的所有記錄。利用業(yè)務(wù)系統(tǒng)的時(shí)間戳袱贮，一般情況下仿便，業(yè)務(wù)系統(tǒng)沒有或者部分有時(shí)間戳。

2.數(shù)據(jù)清洗處理規(guī)范

不符合要求的數(shù)據(jù)主要有不完成數(shù)據(jù)（缺失值）攒巍、錯(cuò)誤數(shù)據(jù)（異常值）嗽仪、重復(fù)數(shù)據(jù)、不同類型需歸一化處理數(shù)據(jù)幾類柒莉。幾類數(shù)據(jù)的處理方法如下：

缺失值：不完整的數(shù)據(jù)闻坚，其特征是是一些應(yīng)該有的信息缺失，如供應(yīng)商的名稱兢孝，分公司的名稱窿凤，客戶的區(qū)域信息缺失、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等跨蟹。需要將這一類數(shù)據(jù)過濾出來雳殊，按缺失的內(nèi)容分別采取定（范圍）刪（字段）補(bǔ)（數(shù)據(jù)）。

定范圍：哪些字段缺失窗轩，缺失范圍如何夯秃，缺失字段的重要性如何？刪字段：刪數(shù)據(jù)的判斷品姓，a\對(duì)業(yè)務(wù)清晰的判斷寝并，b\“有心殺賊，無力回天”缺失數(shù)據(jù)太多腹备。這時(shí)候可以看看是否有其他數(shù)據(jù)可以彌補(bǔ)衬潦。補(bǔ)數(shù)據(jù)：就是補(bǔ)充缺失值。這里有三種補(bǔ)數(shù)據(jù)的方式：A植酥、業(yè)務(wù)知識(shí)驚訝填充镀岛；B、使用均值友驮、中位數(shù)漂羊、眾數(shù)填充；C卸留、使用其他渠道補(bǔ)充走越，如身份證前6位是地區(qū)=手機(jī)號(hào)歸屬地。補(bǔ)全后才寫入數(shù)據(jù)倉庫耻瑟。

異常值：產(chǎn)生原因是業(yè)務(wù)系統(tǒng)不夠健全旨指，在接收輸入后沒有進(jìn)行判斷直接寫入后臺(tái)數(shù)據(jù)庫造成的赏酥，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車谆构、日期格式不正確裸扶、日期越界等。這一類數(shù)據(jù)也要分類搬素，對(duì)于類似于全角字符呵晨、數(shù)據(jù)前后有不面見字符的問題只能寫SQL的方式找出來，然后要求客戶在業(yè)務(wù)系統(tǒng)修正之后抽劝境摺摸屠；日期格式不正確的或者是日期越界的這一類錯(cuò)誤會(huì)導(dǎo)致ETL運(yùn)行失敗，這一類錯(cuò)誤需要去業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫用SQL的方式挑出來猪杭，交給業(yè)務(wù)主管部門要求限期修正餐塘，修正之后再抽取。

重復(fù)數(shù)據(jù)：特別是維表中比較常見皂吮，將重復(fù)的數(shù)據(jù)的記錄所有字段導(dǎo)出來戒傻，讓客戶確認(rèn)并整理。

數(shù)據(jù)歸一化：歸一化的問題蜂筹，就是將絕對(duì)數(shù)變成相對(duì)數(shù)的問題需纳。因?yàn)椴煌S度的絕對(duì)數(shù)是沒有可比性的，這時(shí)候需要將絕對(duì)數(shù)轉(zhuǎn)化成相對(duì)一個(gè)標(biāo)準(zhǔn)的相對(duì)數(shù)艺挪。那如何進(jìn)行歸一化處理呢不翩？三種方式，A麻裳、最值歸一化口蝠、均值方差歸一化、非線性歸一化津坑。

數(shù)據(jù)清洗是一個(gè)反復(fù)的過程妙蔗，不可能在幾天內(nèi)完成，只有不斷的發(fā)現(xiàn)問題疆瑰，解決問題眉反。對(duì)于是否過濾、是否修正一般要求客戶確認(rèn)穆役；對(duì)于過濾掉的數(shù)據(jù)寸五，寫入Excel文件或者將過濾數(shù)據(jù)寫入數(shù)據(jù)表，在ETL開發(fā)的初期可以每天向業(yè)務(wù)單位發(fā)送過濾數(shù)據(jù)的郵件耿币，促使他們盡快的修正錯(cuò)誤梳杏，同時(shí)也可以作為將來驗(yàn)證數(shù)據(jù)的依據(jù)。數(shù)據(jù)清洗需要注意的是不要將有用的數(shù)據(jù)過濾掉了，對(duì)于每個(gè)過濾規(guī)則認(rèn)真進(jìn)行驗(yàn)證秘狞，并要用戶確認(rèn)才行叭莫。

3.數(shù)據(jù)轉(zhuǎn)換處理規(guī)范

數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要是進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換和一些商務(wù)規(guī)則的計(jì)算烁试。

（1）不一致數(shù)據(jù)轉(zhuǎn)換，這個(gè)過程是一個(gè)整合的過程拢肆，將不同業(yè)務(wù)系統(tǒng)的相同類型的數(shù)據(jù)統(tǒng)一减响，比如同一個(gè)供應(yīng)商在結(jié)算系統(tǒng)的編碼是XX0001，而在CRM中編碼是YY0001郭怪，這樣在抽取過來之后統(tǒng)一轉(zhuǎn)換成一個(gè)編碼支示。

（2）數(shù)據(jù)粒度的轉(zhuǎn)換，業(yè)務(wù)系統(tǒng)一般存儲(chǔ)非常明細(xì)的數(shù)據(jù)鄙才，而數(shù)據(jù)倉庫中的數(shù)據(jù)是用來分析的颂鸿，不需要非常明細(xì)的數(shù)據(jù)，會(huì)將業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照數(shù)據(jù)倉庫粒度進(jìn)行聚合攒庵。一般數(shù)據(jù)轉(zhuǎn)換有離散化和屬性構(gòu)造兩種方式嘴纺。離散化主要分為簡單離散、分桶離散浓冒、聚類離散栽渴、回歸平滑四類，屬性構(gòu)造分為特征工程和隨意構(gòu)造后篩選稳懒。

（3）商務(wù)規(guī)則的計(jì)算闲擦，不同的企業(yè)有不同的業(yè)務(wù)規(guī)則，不同的數(shù)據(jù)指標(biāo)场梆，這些指標(biāo)有的時(shí)候不是簡單的加加減減就能完成墅冷，這個(gè)時(shí)候需要在ETL中將這些數(shù)據(jù)指標(biāo)計(jì)算好了之后存儲(chǔ)在數(shù)據(jù)倉庫中，供分析使用或油。

4.ETL日志與警告發(fā)送

（1）ETL日志

記錄日志的目的是隨時(shí)可以知道ETL運(yùn)行情況寞忿，如果出錯(cuò)了，出錯(cuò)在那里装哆。ETL日志分為三類罐脊。①執(zhí)行過程日志，是在ETL執(zhí)行過程中每執(zhí)行一步的記錄蜕琴，記錄每次運(yùn)行每一步驟的起始時(shí)間萍桌，影響了多少行數(shù)據(jù)，流水賬形式凌简。②是錯(cuò)誤日志上炎，當(dāng)某個(gè)模塊出錯(cuò)的時(shí)候需要寫錯(cuò)誤日志，記錄每次出錯(cuò)的時(shí)間，出錯(cuò)的模塊以及出錯(cuò)的信息等藕施。③日志是總體日志寇损，只記錄ETL開始時(shí)間，結(jié)束時(shí)間是否成功信息裳食。

如果使用ETL工具矛市，工具會(huì)自動(dòng)產(chǎn)生一些日志，這一類日志也可以作為ETL日志的一部分诲祸。

（2）警告發(fā)送

ETL出錯(cuò)了浊吏，不僅要寫ETL出錯(cuò)日志而且要向系統(tǒng)管理員發(fā)送警告，發(fā)送警告的方式有多種救氯，常用的就是給系統(tǒng)管理員發(fā)送郵件找田，并附上錯(cuò)誤信息，便于管理員排查着憨。

六墩衙、小結(jié)

在這里涉及到ETL中，我們只要有一個(gè)清晰的認(rèn)識(shí)甲抖，它不是想象中的簡單一蹴而就漆改，在實(shí)際的過程，你可以會(huì)遇到各種各樣的問題惧眠，甚至是部門之間溝通的問題籽懦。出現(xiàn)以上問題時(shí)，可以和團(tuán)隊(duì)小伙伴或者業(yè)務(wù)側(cè)一起制定解決方案氛魁，不斷完善暮顺，只有這樣才能保證我們的業(yè)務(wù)分析結(jié)果是準(zhǔn)確的，才能指導(dǎo)公司做出正確的決策秀存。