ETL芭届，是英文 Extract-Transform-Load 的縮寫爷狈，用來描述將數(shù)據(jù)從來源端經(jīng)過萃冉宋（extract）、轉置（transform）颜价、加載（load）至目的端的過程涯保。ETL一詞較常用在數(shù)據(jù)倉庫诉濒，但其對象并不限于數(shù)據(jù)倉庫。
詳細的ETL流程
從底層向上看
- 所有的數(shù)據(jù)都來源于業(yè)務系統(tǒng)夕春、埋點未荒，日志，但是這些數(shù)據(jù)很多是用不到的及志。比如我只需要分析上個月的不同地區(qū)茄猫、不同年齡段人群的平均下單金額，那么就不需要非相關的數(shù)據(jù)了困肩。
- 所以第二步划纽，我們只需要抽取需要的數(shù)據(jù)，這個過程即ETL锌畸，抽取我們需要的數(shù)據(jù)作為備份數(shù)據(jù)勇劣，這個過程是實時的，數(shù)據(jù)的結構與業(yè)務系統(tǒng)一致潭枣，可以說是完全一摸一樣比默。我們把這個備份數(shù)據(jù)叫做ODS數(shù)據(jù)層。
這里其實是有些小問題的盆犁，比如某用戶下單了命咐，我們實時的存進ODS，但是過了一個小時谐岁，他又退單了醋奠，這個時候如何做呢，可以直接修改ODS嗎伊佃？是不行的窜司，為什么？因為ODS一般是用hadoop去做的航揉，那么修改所耗費的資源很大塞祈，數(shù)據(jù)量很多的時候就會很消耗資源。哪怕不是用hadoop的技術去實現(xiàn)的帅涂，比如MongoDB议薪，修改的話也是很麻煩。所以一般都用折中的方式媳友，在每寫一個數(shù)據(jù)時斯议，都會添加額外的時間維度、時間刻度庆锦，數(shù)據(jù)來源捅位。這里的ETL需要實時抽取。 - DW層 數(shù)據(jù)模型層 抽取到ODS后，一般采用每天統(tǒng)一做處理艇搀，將數(shù)據(jù)根據(jù)分析目的去做一個數(shù)據(jù)集市尿扯、或者數(shù)據(jù)倉庫（多個數(shù)據(jù)集市聯(lián)合）。
數(shù)據(jù)集市（模型層）由事實表和維度度構成焰雕，建立事實部和維度表之后衷笋，數(shù)據(jù)集市或者數(shù)據(jù)倉庫就初步建成了，接下來需要對這些數(shù)據(jù)做匯聚就行了矩屁。
數(shù)據(jù)中心整體架構：
- DB 是現(xiàn)有的數(shù)據(jù)來源(也稱各個系統(tǒng)的元數(shù)據(jù))辟宗，可以為mysql、SQLserver吝秕、文件日志等泊脐，為數(shù)據(jù)倉庫提供數(shù)據(jù)來源的一般存在于現(xiàn)有的業(yè)務系統(tǒng)之中。
- ETL的是 Extract-Transform-Load 的縮寫烁峭，用來描述將數(shù)據(jù)從來源遷移到目標的幾個過程：
- Extract容客，數(shù)據(jù)抽取，也就是把數(shù)據(jù)從數(shù)據(jù)源讀出來约郁。
- Transform缩挑，數(shù)據(jù)轉換，把原始數(shù)據(jù)轉換成期望的格式和維度鬓梅。如果用在數(shù)據(jù)倉庫的場景下供置，Transform也包含數(shù)據(jù)清洗，清洗掉噪音數(shù)據(jù)绽快。
- Load 數(shù)據(jù)加載芥丧，把處理后的數(shù)據(jù)加載到目標處，比如數(shù)據(jù)倉庫谎僻。
- ODS(Operational Data Store) 操作性數(shù)據(jù)娄柳，是作為數(shù)據(jù)庫到數(shù)據(jù)倉庫的一種過渡，ODS的數(shù)據(jù)結構一般與數(shù)據(jù)來源保持一致艘绍，便于減少ETL的工作復雜性，而且ODS的數(shù)據(jù)周期一般比較短秫筏。ODS的數(shù)據(jù)最終流入DW诱鞠。
- DW (Data Warehouse)數(shù)據(jù)倉庫，是數(shù)據(jù)的歸宿这敬，這里保持這所有的從ODS到來的數(shù)據(jù)航夺，并長期保存，而且這些數(shù)據(jù)不會被修改崔涂。
- DM(Data Mart) 數(shù)據(jù)集市,為了特定的應用目的或應用范圍阳掐，而從數(shù)據(jù)倉庫中獨立出來的一部分數(shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)。面向應用缭保。
