目錄：
一碟联、元數(shù)據(jù)
1、數(shù)據(jù)字典
2同窘、數(shù)據(jù)血緣
3玄帕、數(shù)據(jù)特征
二、指標(biāo)管理
1想邦、如何規(guī)范化定義指標(biāo)
三裤纹、數(shù)據(jù)模型
1、我建模的方法
2丧没、理想的數(shù)倉(cāng)模型設(shè)計(jì)應(yīng)該具備的因素
3鹰椒、已經(jīng)存在煙囪式開(kāi)發(fā)，如何變成一個(gè)數(shù)據(jù)中臺(tái)呕童？
四漆际、數(shù)據(jù)質(zhì)量
1、如何提高數(shù)據(jù)質(zhì)量
2夺饲、如何衡量數(shù)據(jù)質(zhì)量
五奸汇、數(shù)據(jù)成本
1施符、有哪些成本的陷阱
2、如何實(shí)現(xiàn)精細(xì)化成本管理
3擂找、治理效果評(píng)估
六戳吝、數(shù)據(jù)管理工具

不對(duì)學(xué)習(xí)的內(nèi)容總結(jié)，總覺(jué)得自己沒(méi)學(xué)習(xí)到贯涎。這10天在極客時(shí)間上面看了郭憶《數(shù)據(jù)中臺(tái)》課程听哭，里面的內(nèi)容每一條都戳中工作遇見(jiàn)的問(wèn)題，曾吐槽無(wú)數(shù)次的數(shù)據(jù)模型煙囪式開(kāi)發(fā)塘雳、無(wú)數(shù)據(jù)指標(biāo)管理陆盘、數(shù)據(jù)質(zhì)量不能監(jiān)控、無(wú)數(shù)據(jù)血緣關(guān)系分析败明，在這里都找到判斷標(biāo)準(zhǔn)和解決思路了隘马。

課程主要講了數(shù)據(jù)只加工一次，數(shù)據(jù)服務(wù)統(tǒng)一的API接口肩刃。也就是阿里數(shù)據(jù)中臺(tái)的onedate祟霍、oneservice的思想。onedate就是數(shù)據(jù)只加工一次盈包，這是我工作中主要遇見(jiàn)的問(wèn)題沸呐；數(shù)據(jù)服務(wù)的思想是第一次看見(jiàn)、相見(jiàn)恨晚又慶幸自己看見(jiàn)了呢燥、它幫我貫穿了數(shù)據(jù)體系崭添。

數(shù)據(jù)加工和數(shù)據(jù)服務(wù)都非常重要，本篇文章是對(duì)onedate數(shù)據(jù)加工總結(jié)叛氨。onedata主要包括六個(gè)部分：元數(shù)據(jù)呼渣、指標(biāo)管理、數(shù)據(jù)模型寞埠、數(shù)據(jù)質(zhì)量屁置、數(shù)據(jù)成本、「元數(shù)據(jù)仁连、指標(biāo)蓝角、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量饭冬、數(shù)據(jù)成本」管理工具使鹅。

管理工具貫穿整個(gè)體系，每個(gè)階段都需要工具管理昌抠。剩下的五個(gè)部分是獨(dú)立的患朱，可以逐個(gè)突破，除了首先得梳理元數(shù)據(jù)炊苫、剩下的模塊可以選擇重要的解決

onedata步驟

一裁厅、元數(shù)據(jù)

元數(shù)據(jù)中心是數(shù)據(jù)中臺(tái)的基石冰沙，它提供了我們做數(shù)據(jù)治理必須的數(shù)據(jù)支撐。比如通過(guò)數(shù)據(jù)血緣：

• 可以根據(jù)數(shù)據(jù)血緣定位數(shù)據(jù)質(zhì)量問(wèn)題
• 可以根據(jù)數(shù)據(jù)血緣計(jì)算數(shù)據(jù)成本
• 可以根據(jù)數(shù)據(jù)血緣姐直，對(duì)大數(shù)據(jù)平臺(tái)上運(yùn)行的任務(wù)和分析查詢進(jìn)行的統(tǒng)計(jì)（每層表活躍數(shù)量倦淀、查詢數(shù)量、每層查詢?nèi)蝿?wù)目標(biāo)表分層情況）声畏，判斷模型好壞。

而數(shù)據(jù)指標(biāo)是元數(shù)據(jù)中心的一部分姻成，所以我們?cè)谧鰯?shù)據(jù)治理的時(shí)候第一步需要梳理元數(shù)據(jù)插龄。

元數(shù)據(jù)描述是到每張表的，包括三個(gè)部分數(shù)據(jù)字典科展、數(shù)據(jù)血緣均牢、數(shù)據(jù)特征。

1才睹、數(shù)據(jù)字典：

數(shù)據(jù)字典包括表名徘跪、表注釋、表產(chǎn)出琅攘、表英文字段垮庐、字段含義、字段類(lèi)型

以前我以為數(shù)據(jù)字典就是字段注釋?zhuān)?/p>

2坞琴、數(shù)據(jù)血緣：

表通過(guò)哪些表加工而來(lái)哨查，要到字段級(jí)別，字段通過(guò)哪些表加工而來(lái)剧辐。
數(shù)據(jù)血緣可以做影響分析和問(wèn)題溯源寒亥。

3、數(shù)據(jù)特征：數(shù)據(jù)的屬性信息

圖片來(lái)自《數(shù)據(jù)中臺(tái)》課程

第一次看見(jiàn)在描述表特征的時(shí)候参萄，可以把表關(guān)聯(lián)的指標(biāo)列出來(lái)卫枝。關(guān)聯(lián)上指標(biāo)、后期在對(duì)指標(biāo)搜索的時(shí)候讹挎，可以快速定位到某張表校赤。

4吆玖、我的思考

元數(shù)據(jù)就3部分，比較容易理解马篮，但是怎么管理元數(shù)據(jù)同樣是我們關(guān)心的沾乘。比如我們天天說(shuō)的數(shù)據(jù)血緣，數(shù)據(jù)血緣是怎么通過(guò)工具維護(hù)的浑测。知道了方向要利用工具去實(shí)現(xiàn)還是挺難的翅阵，開(kāi)發(fā)一個(gè)工具難、哈哈迁央。

補(bǔ)充一下：可以去了解 Metacat 和 Atlas 這兩款產(chǎn)品掷匠，一個(gè)擅長(zhǎng)于管理數(shù)據(jù)字典，一個(gè)擅長(zhǎng)于管理數(shù)據(jù)血緣岖圈。

Metacat數(shù)據(jù)字典維護(hù)：
Metacat多數(shù)據(jù)源的可擴(kuò)展架構(gòu)設(shè)計(jì)讹语，它并沒(méi)有單獨(dú)再保存一份元數(shù)據(jù)，而是采取直連數(shù)據(jù)源拉的方式蜂科。想到在以前公司也會(huì)管理元數(shù)據(jù)顽决、也是通過(guò)添加數(shù)據(jù)源、連接數(shù)據(jù)庫(kù)导匣、實(shí)時(shí)獲取數(shù)據(jù)字典等信息

Apache Atlas 實(shí)時(shí)數(shù)據(jù)血緣采集
血緣采集才菠，一般可以通過(guò)三種方式：

• 通過(guò)靜態(tài)解析 SQL，獲得輸入表和輸出表逐抑；
• 通過(guò)實(shí)時(shí)抓取正在執(zhí)行的 SQL鸠儿，解析執(zhí)行計(jì)劃，獲取輸入表和輸出表厕氨；
• 通過(guò)任務(wù)日志解析的方式进每，獲取執(zhí)行后的 SQL 輸入表和輸出表。

第一種方式命斧，面臨準(zhǔn)確性的問(wèn)題田晚，因?yàn)槿蝿?wù)沒(méi)有執(zhí)行，這個(gè) SQL 對(duì)不對(duì)都是一個(gè)問(wèn)題国葬。第三種方式贤徒，血緣雖然是執(zhí)行后產(chǎn)生的，可以確保是準(zhǔn)確的汇四，但是時(shí)效性比較差接奈，通常要分析大量的任務(wù)日志數(shù)據(jù)。所以第二種方式通孽，是比較理想的實(shí)現(xiàn)方式序宦，而 Atlas 就是這種實(shí)現(xiàn)。

郭憶老師課程中的回復(fù)

二背苦、指標(biāo)管理

指標(biāo)常見(jiàn)問(wèn)題互捌，圖片來(lái)自極客時(shí)間

指標(biāo)劃一般分為原子指標(biāo)潘明、派生指標(biāo)、衍生指標(biāo)秕噪。我接觸到的是指標(biāo)通常是由兩個(gè)指標(biāo)相除計(jì)算而來(lái)钳降；一個(gè)指標(biāo)對(duì)應(yīng)一個(gè)需求、一長(zhǎng)段的描述腌巾。

剛開(kāi)始我還沒(méi)迫切想對(duì)指標(biāo)分類(lèi)遂填，最讓頭痛是指標(biāo)重復(fù)計(jì)算，相同指標(biāo)結(jié)果不一樣澈蝙〕蔷眨看課程才知道原來(lái)指標(biāo)也需要管理的，但對(duì)于已經(jīng)存在的指標(biāo)梳理碉克，是很難的工作，主要是領(lǐng)導(dǎo)沒(méi)意識(shí)并齐，沒(méi)人去推動(dòng)這項(xiàng)工作吧漏麦。

雖然沒(méi)接觸規(guī)范的指標(biāo)，但可以學(xué)習(xí)如何管理它况褪，還是可以一起了解下

1撕贞、如何規(guī)范化定義指標(biāo)

1）按照按照業(yè)務(wù)條線、主題域测垛、業(yè)務(wù)過(guò)程管理指標(biāo)

2）按原子指標(biāo)捏膨、派生指標(biāo)、復(fù)合指標(biāo)管理

2.1) 原子指標(biāo)就是基于業(yè)務(wù)過(guò)程的度量值食侮，比如訂單金額号涯。也可以把原子指標(biāo)定義為不能夠按照（統(tǒng)計(jì)周期、統(tǒng)計(jì)粒度锯七、業(yè)務(wù)限定詞）進(jìn)一步拆分的指標(biāo)
2.2) 派生指標(biāo) = 統(tǒng)計(jì)周期（近30天）+ 統(tǒng)計(jì)粒度(商品) + 業(yè)務(wù)限定（黑卡會(huì)員/非會(huì)員） + 原子指標(biāo)（購(gòu)買(mǎi)用戶數(shù)）链快。

現(xiàn)在容易把統(tǒng)計(jì)粒度和業(yè)務(wù)限定詞給記混了

2.3)復(fù)合指標(biāo):兩個(gè)或者多個(gè)指標(biāo)戒劫，通過(guò)一定規(guī)則半夷，計(jì)算出來(lái)的婆廊，即為復(fù)合指標(biāo)

3）指標(biāo)命名規(guī)范

指標(biāo)命名規(guī)范要遵循兩個(gè)基本的原則：
易懂，就是看到指標(biāo)的名稱(chēng)巫橄，就可以基本判斷這個(gè)指標(biāo)歸屬于哪個(gè)業(yè)務(wù)過(guò)程淘邻；
統(tǒng)一，就是要確保派生指標(biāo)和它繼承的原子指標(biāo)命名是一致的

4）關(guān)聯(lián)的應(yīng)用和可分析維度

指標(biāo)對(duì)應(yīng)的報(bào)表
指標(biāo)可分析維度

5）分等級(jí)管理指標(biāo)

指標(biāo)那么多湘换，數(shù)據(jù)中臺(tái)管理不過(guò)來(lái)宾舅，可以把指標(biāo)區(qū)分等級(jí)，來(lái)管理指標(biāo)
一級(jí)指標(biāo)：數(shù)據(jù)中臺(tái)直接產(chǎn)出彩倚，核心指標(biāo)（提供給公司高層看的）筹我、原子指標(biāo)以及跨部門(mén)的派生指標(biāo)。
二級(jí)指標(biāo)：基于中臺(tái)提供的原子指標(biāo)帆离，業(yè)務(wù)部門(mén)創(chuàng)建的派生指標(biāo)蔬蕊。

為什么要區(qū)分原子指標(biāo)和派生指標(biāo)呢？ 全當(dāng)原子指標(biāo)哥谷，不就好了岸夯，這樣能確保每個(gè)指標(biāo)的業(yè)務(wù)口徑都在指標(biāo)系統(tǒng)里面強(qiáng)管理。

但是這樣的后果们妥，是指標(biāo)的管理工作量太大了猜扮，而且整個(gè)數(shù)據(jù)分析的瓶頸會(huì)壓在指標(biāo)的管理上。所以就想出來(lái)一個(gè)方法监婶，能不能把原子指標(biāo)中旅赢，不涉及口徑的指標(biāo)，可以拆出來(lái)惑惶，而這些就是派生指標(biāo)煮盼。

2、思考

對(duì)于經(jīng)常變化的業(yè)務(wù)可以先不梳理指標(biāo)集惋，對(duì)于已經(jīng)穩(wěn)定不變化的業(yè)務(wù)需要梳理指標(biāo)孕似、統(tǒng)一指標(biāo)的業(yè)務(wù)計(jì)算口徑。
其實(shí)指標(biāo)管理目前工作中不怎么用刮刑，可以先了解擴(kuò)充知識(shí)喉祭。

三、數(shù)據(jù)模型

不知道規(guī)范的模型應(yīng)該是怎樣的雷绢，看得最多的就是基于業(yè)務(wù)過(guò)程進(jìn)行維度建模泛烙。在《數(shù)據(jù)中臺(tái)》課程中，主要是評(píng)價(jià)模型好壞的思路翘紊，并沒(méi)有講dwd蔽氨、dws、ads如何建模及案例等。

1鹉究、我建模的方法

總結(jié)下我dwd宇立、dws建模的思想，我認(rèn)為不完善自赔、沒(méi)借鑒意義妈嘹。先簡(jiǎn)單記錄下。在網(wǎng)上看的建模案例比較少绍妨，而且針對(duì)dws層建模思路都是每日的匯總表润脸，在工作中，我覺(jué)得dws建成覆蓋小業(yè)務(wù)過(guò)程的大寬表更好使用

1)DWD
維度建模一般按照以下四個(gè)步驟：
選擇業(yè)務(wù)過(guò)程→聲明粒度→確認(rèn)維度→確認(rèn)事實(shí)他去。

目前我們的業(yè)務(wù)過(guò)程都是根據(jù)需求來(lái)的毙驯，所以我在dwd層建模一般是：根據(jù)需求所涉及的業(yè)務(wù)過(guò)程------》在業(yè)務(wù)系統(tǒng)中找到對(duì)應(yīng)的表-----》建模：dwd的模型結(jié)構(gòu)可以跟業(yè)務(wù)庫(kù)中表結(jié)構(gòu)一樣，只是會(huì)存在數(shù)據(jù)清洗灾测、及維度退化爆价。
最近dwd層經(jīng)常在加字段，主要是流程的開(kāi)始時(shí)間和流程的審批通過(guò)時(shí)間,應(yīng)該還是業(yè)務(wù)不熟悉
2)DWS

總線矩陣

2鲜结、理想的數(shù)倉(cāng)模型設(shè)計(jì)應(yīng)該具備的因素

一個(gè)理想的數(shù)倉(cāng)模型設(shè)計(jì)應(yīng)該具備的因素，那就是“數(shù)據(jù)模型可復(fù)用活逆，完善且規(guī)范”精刷。

1）DWD 層完善度

ODS 層有多少表被 DWS/ADS/DM 層引用。因?yàn)?* DWD 以上的層引用的越多蔗候，就說(shuō)明越多的任務(wù)是基于原始數(shù)據(jù)進(jìn)行深度聚合計(jì)算的怒允，明細(xì)數(shù)據(jù)沒(méi)有積累，無(wú)法被復(fù)用锈遥，數(shù)據(jù)清洗纫事、格式化、集成存在重復(fù)開(kāi)發(fā)**

跨層引用率：ODS 層直接被 DWS/ADS/DM 層引用的表所灸，占所有 ODS 層表（僅統(tǒng)計(jì)活躍表）比例丽惶。

2)DWS/ADS/DM 層完善度

考核匯總數(shù)據(jù)的完善度，我認(rèn)為主要看匯總數(shù)據(jù)能直接滿足多少查詢需求

匯總數(shù)據(jù)查詢比例：DWS/ADS/DM 層的查詢占所有查詢的比例爬立。

跟跨層引用率不同钾唬，匯總查詢比例不可能做到 100%，但值越高，說(shuō)明上層的數(shù)據(jù)建設(shè)越完善抡秆，對(duì)于使用數(shù)據(jù)的人來(lái)說(shuō)奕巍，查詢速度和成本會(huì)減少

3）模型復(fù)用度

數(shù)據(jù)中臺(tái)模型設(shè)計(jì)的核心是追求模型的復(fù)用和共享。

模型引用系數(shù)：一個(gè)模型被讀取儒士，直接產(chǎn)出下游模型的平均數(shù)量的止。

比如一張** DWD 層**表被 5 張 DWS 層表引用，這張 DWD 層表的引用系數(shù)就是 5乍桂。dwd的表被ads層的表引用可以算引用系數(shù)嗎冲杀？。DWD 層表平均模型引用系數(shù)睹酌，一般低于 2 比較差权谁，3 以上相對(duì)比較好（經(jīng)驗(yàn)值）

5）規(guī)范度

規(guī)范的表命名應(yīng)該包括主題域、分層憋沿、表是全量快照旺芽，還是增量等

更好管理數(shù)據(jù)模型，可以看每層表活躍表數(shù)據(jù)量辐啄、被讀表數(shù)量采章、被寫(xiě)表數(shù)量、讀表任務(wù)數(shù)量壶辜、寫(xiě)表任務(wù)數(shù)量悯舟。根據(jù)各層數(shù)量、可以看出模型建設(shè)的完善度砸民。
比如：ODS：DWD：DWS：ADS 的讀取任務(wù)分別是 1072：545：187：433抵怎，直接讀取 ODS 層任務(wù)占這四層任務(wù)總和的 47.9%，這說(shuō)明有大量任務(wù)都是基于原始數(shù)據(jù)加工岭参，中間模型復(fù)用性很差反惕。

3、已經(jīng)存在煙囪式開(kāi)發(fā)演侯，如何變成一個(gè)數(shù)據(jù)中臺(tái)姿染？

• 1）接管 ODS 層，控制源頭
• 2）劃分主題域秒际，構(gòu)建總線矩陣
• 3）構(gòu)建一致性維度
• 4）事實(shí)表整合
• 5）模型開(kāi)發(fā)

關(guān)于數(shù)據(jù)模型悬赏，課程給了檢驗(yàn)?zāi)Ｐ偷闹笜?biāo)。至于如何建模娄徊，還需要學(xué)習(xí)舷嗡。

四、數(shù)據(jù)質(zhì)量

學(xué)了之后嵌莉，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量都是相通进萄，需要添加數(shù)據(jù)質(zhì)量稽核規(guī)則，以前的添加的稽核規(guī)則是及時(shí)性、一致性中鼠、規(guī)范性可婶；有些規(guī)則在數(shù)據(jù)中臺(tái)中也可以使用。

來(lái)自《數(shù)據(jù)中臺(tái)》課程

1援雇、如何提高數(shù)據(jù)質(zhì)量

要想提升數(shù)據(jù)質(zhì)量矛渴，最重要的就是“早發(fā)現(xiàn)，早恢復(fù)”

• 早發(fā)現(xiàn)惫搏，是要能夠先于數(shù)據(jù)使用方發(fā)現(xiàn)數(shù)據(jù)的問(wèn)題具温，盡可能在出現(xiàn)問(wèn)題的源頭發(fā)現(xiàn)問(wèn)題，這樣就為“早恢復(fù)”爭(zhēng)取到了大量的時(shí)間筐赔。
• 早恢復(fù)铣猩，就是要縮短故障恢復(fù)的時(shí)間，降低故障對(duì)數(shù)據(jù)產(chǎn)出的影響

1）添加稽核校驗(yàn)任務(wù)

在數(shù)據(jù)加工任務(wù)中茴丰，對(duì)產(chǎn)出表按照業(yè)務(wù)規(guī)則达皿，設(shè)計(jì)一些校驗(yàn)邏輯，確保數(shù)據(jù)的完整性贿肩、一致性和準(zhǔn)確性

• 完整性規(guī)則峦椰。主要目的是確保數(shù)據(jù)記錄是完整的，不丟失.常見(jiàn)的稽核規(guī)則:表數(shù)據(jù)量汰规、表主鍵
• 一致性規(guī)則：解決相關(guān)數(shù)據(jù)在不同模型中一致性的問(wèn)題
• 準(zhǔn)確性規(guī)則：解決數(shù)據(jù)記錄正確性的問(wèn)題汤功。常見(jiàn)的稽核規(guī)則有，一個(gè)商品只能歸屬在一個(gè)類(lèi)目溜哮，數(shù)據(jù)格式是不是正確的 IP 格式冤竹，訂單的下單日期是還沒(méi)有發(fā)生的日期等等。

2）通過(guò)智能預(yù)警茬射，確保任務(wù)按時(shí)產(chǎn)出

2、如何衡量數(shù)據(jù)質(zhì)量

• 4 點(diǎn)半前數(shù)據(jù)中臺(tái)核心任務(wù)產(chǎn)出完成率
• 基于稽核規(guī)則冒签，計(jì)算表級(jí)別的質(zhì)量分?jǐn)?shù)
• 需要立即介入的報(bào)警次數(shù)在抛，通常以開(kāi)啟循環(huán)報(bào)警的電話報(bào)警次數(shù)為準(zhǔn)

• 數(shù)據(jù)產(chǎn)品上所有指標(biāo)有沒(méi)有在 9 點(diǎn)產(chǎn)出

  
  
  課程中的圖片

元數(shù)據(jù)中心、指標(biāo)管理萧恕、數(shù)據(jù)模型刚梭、數(shù)據(jù)質(zhì)量，越了解到后面越感受到數(shù)據(jù)治理很難票唆，研發(fā)管理工具難朴读、知道原理方法實(shí)施難。不過(guò)如果自己深入其中肯定會(huì)成長(zhǎng)不少走趋，這些點(diǎn)也是提升的方向衅金。

五、數(shù)據(jù)成本

數(shù)據(jù)成本是在《數(shù)據(jù)中臺(tái)》課程中，才了解到氮唯。以前沒(méi)想過(guò)數(shù)據(jù)還需要計(jì)算成本鉴吹。
郭憶老師在課程里說(shuō)過(guò)：數(shù)據(jù)像手機(jī)中的圖片，我們總是不斷地拍照惩琉，生成圖片豆励，卻懶得清理，最終手機(jī)里面的存儲(chǔ)經(jīng)常不夠用瞒渠。對(duì)于30天內(nèi)沒(méi)使用的表可以下線良蒸。

1、有哪些成本的陷阱

1）數(shù)據(jù)上線容易下線難

我們可以統(tǒng)計(jì)最近30天表使用情況伍玖，做成上圖所似的數(shù)據(jù)

2） 低價(jià)值的數(shù)據(jù)應(yīng)用消耗了大量的資源

數(shù)據(jù)看上去每天都在被訪問(wèn)嫩痰，但究竟產(chǎn)出了多少價(jià)值，投入和產(chǎn)出是否匹配私沮？這個(gè)我們需要思考始赎。

3）煙囪式的開(kāi)發(fā)模式

煙囪式的開(kāi)發(fā)不僅會(huì)帶來(lái)研發(fā)效率低的問(wèn)題，同時(shí)因?yàn)閿?shù)據(jù)重復(fù)加工仔燕，還會(huì)存在資源浪費(fèi)的問(wèn)題

4）數(shù)據(jù)傾斜

數(shù)據(jù)傾斜會(huì)讓任務(wù)性能變差造垛，也會(huì)浪費(fèi)大量的資源

5）數(shù)據(jù)未設(shè)置生命周期

原始數(shù)據(jù)和明細(xì)數(shù)據(jù)，會(huì)保留完整的歷史數(shù)據(jù)晰搀，匯總層五辽、應(yīng)用層、集市層外恕，考慮導(dǎo)數(shù)據(jù)存儲(chǔ)成本杆逗，數(shù)據(jù)按照生命周期管理。
大表未設(shè)置生命周期鳞疲、會(huì)造成浪費(fèi)存儲(chǔ)資源罪郊。

思考：比如我們公司匯總層的數(shù)據(jù)從上線開(kāi)始，每天的數(shù)據(jù)都保存下來(lái)尚洽。這樣就很浪費(fèi)資源

6）調(diào)度周期不合理

7）任務(wù)參數(shù)配置

8）數(shù)據(jù)未壓縮

2悔橄、如何實(shí)現(xiàn)精細(xì)化成本管理

1)全局資產(chǎn)盤(pán)點(diǎn)

圖片來(lái)自課程

根據(jù)數(shù)據(jù)血緣關(guān)系，可以得到末端數(shù)據(jù)的成本和價(jià)值腺毫。

**這張報(bào)表的成本 **=3 個(gè)任務(wù)加工消耗的計(jì)算資源成本 +6 張表消耗的存儲(chǔ)資源的成本

3)數(shù)據(jù)價(jià)值

3癣疟、治理效果評(píng)估

省了多少錢(qián)

• 下線了多少任務(wù)和數(shù)據(jù)
• 這些任務(wù)每日消耗了多少資源
• 據(jù)占用了多少存儲(chǔ)空間

成本治理不是一勞永逸的工作，需要持之以恒潮酒，不斷發(fā)現(xiàn)問(wèn)題睛挚，然后治理優(yōu)化

關(guān)于數(shù)據(jù)成本我目前是學(xué)習(xí)里面的思想。我認(rèn)為自己目前能接觸并且重要的是數(shù)據(jù)模型急黎。以及相關(guān)的技術(shù)也需要提升扎狱。

六侧到、數(shù)據(jù)管理工具

數(shù)倉(cāng)onedate最后一步就是數(shù)據(jù)工具管理，如果是購(gòu)買(mǎi)的平臺(tái)這些工具都是有的委乌，如果是自己研發(fā)可以參考已經(jīng)有的開(kāi)源工具床牧。

總結(jié)

寫(xiě)到最后腦袋是懵的，不過(guò)在復(fù)習(xí)一篇《數(shù)據(jù)中臺(tái)》建設(shè)方法任然收獲很多遭贸。
在附上數(shù)據(jù)開(kāi)發(fā)職業(yè)規(guī)劃：熟練的使用數(shù)據(jù)中臺(tái)支撐技術(shù)體系內(nèi)的工具戈咳，熟悉數(shù)據(jù)中臺(tái)模式下數(shù)據(jù)研發(fā)的流程，對(duì)指標(biāo)定義壕吹、維度建模著蛙、數(shù)據(jù)質(zhì)量稽核監(jiān)控、成本的管理耳贬、數(shù)據(jù)安全踏堡、數(shù)據(jù)服務(wù)化等內(nèi)容要有深入的掌握。