前面我們講了什么是數(shù)據(jù)中臺,及數(shù)據(jù)中臺的架構(gòu)及功能規(guī)劃荷科,這次我們開始從數(shù)據(jù)資產(chǎn)開始拆解每個功能模塊做的內(nèi)容
1.概述
數(shù)據(jù)資產(chǎn)管理平臺可以定量評估數(shù)據(jù)資產(chǎn)的成本笔链,價值,質(zhì)量趣惠。幫助企業(yè)優(yōu)化存儲成本狸棍,節(jié)約計算資源。精細化的數(shù)據(jù)生命周期管理信卡,幫助企業(yè)更好的管理數(shù)據(jù)的生產(chǎn)到銷毀的整個生命周期隔缀。
在管理方面:管理者在規(guī)劃數(shù)據(jù)文化建設(shè)時,對企業(yè)數(shù)據(jù)資產(chǎn)的全局構(gòu)成傍菇、使用形式猾瘸、 使用效果都需要詳細的指標輸入,往往這些指標都沒有被統(tǒng)籌起來;在組織保障上牵触, 需要多少資源淮悼、運作機制應該如何制定才能保障數(shù)據(jù)文化的落地,也需要運營指標來 輔助決策揽思,所以管理者通常需從以下幾個方面的問題進行思考:
- 數(shù)據(jù)如何被用起來袜腥?
- 數(shù)據(jù)保值后如何增值?
- 組織已不再滿足變化所需钉汗?
- 管理體系如何建立羹令?
在治理方面:企業(yè)擁有大量的數(shù)據(jù)資產(chǎn)之后,由于分工不同损痰,一般的數(shù)據(jù)生產(chǎn)者福侈、數(shù)據(jù) 消費者之間會隨著時間推移、人員變動等因素卢未,造成數(shù)據(jù)資產(chǎn)的信息成為無人維護的 靜態(tài)狀態(tài)肪凛,數(shù)據(jù)的存儲成本、檢索的理解成本會越來越高辽社。這些數(shù)據(jù)資產(chǎn)分布在一片 數(shù)據(jù)沼澤中伟墙,難以分辨數(shù)據(jù)資產(chǎn)的成本、價值滴铅,更難以進行生命周期管理戳葵,甚至給數(shù)據(jù) 消費者帶來難以跨越的信息鴻溝;數(shù)據(jù)治理通常關(guān)注以下幾個方面的問題:
- 數(shù)據(jù)的成本如何降低汉匙?
- 數(shù)據(jù)生命周期如何管理譬淳?
- 數(shù)據(jù)質(zhì)量低,如何保證可用盹兢?
- 數(shù)據(jù)價值如何評估邻梆?
在運營方面:數(shù)據(jù)資產(chǎn)從被建立,到數(shù)據(jù)內(nèi)容的生產(chǎn)绎秒、到被使用浦妄,各環(huán)節(jié)用戶各自所關(guān)注的、所進行的工作重點不一致见芹;從數(shù)據(jù)管理視角剂娄、數(shù)據(jù)生產(chǎn)視角、數(shù)據(jù)應用視角來 看玄呛,各個視角之間的目標實現(xiàn)阅懦、工作重點、協(xié)作方式徘铝,不再以點對點的形式存在耳胎,而是 貫穿于整個數(shù)據(jù)鏈路中惯吕,數(shù)據(jù)運營正是為了從以上角度來發(fā)現(xiàn)問題、解決問題怕午,作用是:數(shù)據(jù)運營會從“戰(zhàn)略废登、執(zhí)行、目標拆解郁惜、跟蹤實現(xiàn)”各個階段進行統(tǒng)籌堡距,對運營目標 負責。數(shù)據(jù)運營通常關(guān)注以下幾個方面的問題:
- 有限的資源如何科學分配兆蕉?
- 數(shù)據(jù)的關(guān)系如何互相影響羽戒?
- 如何發(fā)現(xiàn)最迫切的問題?
- 數(shù)據(jù)運營缺乏工具虎韵、渠道半醉;
在使用方面:數(shù)據(jù)只有被用起來,才能發(fā)揮其應有的價值劝术。然而當前部分的企業(yè)使用 數(shù)據(jù)的情況并不樂觀。根據(jù)調(diào)研統(tǒng)計呆奕,只有約 14%的企業(yè)數(shù)據(jù)相關(guān)的從業(yè)人員認為使用 數(shù)據(jù)是方便的养晋。數(shù)據(jù)使用是否方便,可從兩個維度來判斷梁钾,一是工具:是否能夠具備 “順暢的绳泉、快捷的、容易完成的”數(shù)據(jù)使用場景的工具集姆泻;二是時間:是否可以快速地查找零酪、信任、理解數(shù)據(jù)拇勃。根據(jù)調(diào)研統(tǒng)計四苇,有不低于 80%的時間消耗在“查找-理解-信任”數(shù)據(jù)的過程中;這兩個現(xiàn)狀成為阻礙數(shù)據(jù)使用的最大的瓶頸方咆。我們歸納了數(shù)據(jù)使用的幾 大問題點月腋,如下所示:
- 數(shù)據(jù)孤島亟需打破;
- 發(fā)現(xiàn)瓣赂、理解榆骚、使用數(shù)據(jù)耗時費力;
- 知識經(jīng)驗無法共享煌集、迭代妓肢;
- 溝通不暢、權(quán)責不明苫纤;
- 個人信息無法歸檔碉钠;
- 數(shù)據(jù)安全如何保障纲缓;
本次只介紹數(shù)據(jù)資產(chǎn)管理的核心元數(shù)據(jù)管理及數(shù)據(jù)資產(chǎn)數(shù)據(jù)地圖,及數(shù)據(jù)生命周期管理放钦,其他相關(guān)模塊:數(shù)據(jù)接入色徘,數(shù)據(jù)處理,數(shù)據(jù)服務(wù)等后面介紹
2.資源管理
實現(xiàn)集中對各種數(shù)據(jù)資源的管理操禀,包括數(shù)據(jù)庫褂策,消息隊列等的管理
實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)源管理:屬性包括:所屬業(yè)務(wù)名稱,業(yè)務(wù)技術(shù)負責人颓屑,數(shù)據(jù)源IP斤寂,端口、數(shù)據(jù)庫名稱揪惦,用戶名遍搞、密碼,數(shù)據(jù)庫類型(Mysql器腋、oracle溪猿、SQLServer、Doris等)纫塌,創(chuàng)建時間诊县,創(chuàng)建人
實現(xiàn)Kafka數(shù)據(jù)源管理:屬性包括:Kafka集群名稱,Kafka Broker Server地址(示例:172.22.197.123:9020)措左,對應zookeeper地址(示例:172.22.197.123:2181),創(chuàng)建時間依痊,創(chuàng)建人,集群負責人
3.元數(shù)據(jù)管理
元數(shù)據(jù)管理是整個系統(tǒng)的核心怎披,所有的功能及業(yè)務(wù)流程都是圍繞這個進行的胸嘁,也是整個系統(tǒng)數(shù)據(jù)治理的核心
元數(shù)據(jù)主要解決三個問題:首先,通過建立相應的組織凉逛、流程和工具性宏,推動業(yè)務(wù)標準的落地實施,實現(xiàn)指標的規(guī)范定義状飞,消除指標認知的歧義衔沼;其次,基于業(yè)務(wù)現(xiàn)狀和未來的演進方式昔瞧,對業(yè)務(wù)模型進行抽象指蚁,制定清晰的主題、業(yè)務(wù)過程和分析方向自晰,構(gòu)建完備的技術(shù)元數(shù)據(jù)凝化,對物理模型進行準確完善的描述,并打通技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的關(guān)系酬荞,對物理模型進行完備的刻畫搓劫;第三瞧哟,通過元數(shù)據(jù)建設(shè),為使用數(shù)據(jù)提效枪向,解決找數(shù)據(jù)勤揩,理解數(shù)據(jù),問題評估難題以及取數(shù)和數(shù)據(jù)可視化難題
4.元數(shù)據(jù)管理系統(tǒng)架構(gòu)
這里元數(shù)據(jù)分為物理元模型和血緣元模型
5.元數(shù)據(jù)采集
元數(shù)據(jù)采集分為人工錄入和自動抽取秘蛔,通過人工錄入的方式實現(xiàn)物理表的準確歸屬(包括該表屬于倉庫哪一層陨亡、對應的主題、業(yè)務(wù)過程深员、星型模型關(guān)系等)以及指標的采集负蠕,從而完成技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的采集,通過自動抽取的方式完成生產(chǎn)元數(shù)據(jù)的采集和使用元數(shù)據(jù)的采集倦畅,主要包括:物理模型的依賴關(guān)系遮糖、存儲占用、熱度等信息
血緣關(guān)系:這塊因為我們數(shù)倉是用的Apache doris叠赐,實現(xiàn)起來相對月Hadoop架構(gòu)的簡單了很多欲账,通過Flume采集每個Doris Fe節(jié)點的審計日志(fe.audit.log)中的sql,通過阿里開源的數(shù)據(jù)庫連接池Druid進行解析自動生成芭概,這里同時還可以對SQL操作進行一些安全審計赛不,比如Delete,truncate谈山,drop及sql執(zhí)行成功失敗,執(zhí)行時間等進行審計預警
5.1 元數(shù)據(jù)管理功能
1.業(yè)務(wù)數(shù)據(jù)元數(shù)據(jù)同步采集
實現(xiàn)對業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)表的元數(shù)據(jù)自動采集同步宏怔,包括建表語句中的中文備注信息奏路,并將中文備注信息填寫到對應的中文字段名稱中,界面提供元數(shù)據(jù)修改功能臊诊,主要修改是添加業(yè)務(wù)技術(shù)負責人鸽粉、修改表的中文名稱、備注說明等信息抓艳,表的字段名稱触机,類型、長度等信息不允許修改
2.數(shù)據(jù)倉表元數(shù)據(jù)采集
實現(xiàn)對數(shù)倉數(shù)據(jù)庫數(shù)據(jù)表的元數(shù)據(jù)自動采集同步玷或,包括建表語句中的中文備注信息儡首,并將中文備注信息填寫到對應的中文字段名稱中,界面提供元數(shù)據(jù)修改功能偏友,主要修改是添加數(shù)倉表對應技術(shù)負責人蔬胯、修改表的中文名稱、備注說明等信息位他,表的字段名稱氛濒,類型产场、長度等信息不允許修改
3.元數(shù)據(jù)版本管理
因為數(shù)據(jù)庫表存在結(jié)構(gòu)變更,這里需要提供元數(shù)據(jù)多的歷史版本管理舞竿,可以查詢元數(shù)據(jù)歷史版本信息
4.業(yè)務(wù)元數(shù)據(jù)變更管理及預警
對業(yè)務(wù)元數(shù)據(jù)的變更(主要是Mysql數(shù)據(jù)庫)京景,通過flink監(jiān)控binlog的schema變更時間,一旦發(fā)現(xiàn)及時發(fā)送消息通知骗奖,后端監(jiān)控變更消息隊列确徙,取到變更信息,發(fā)出元數(shù)據(jù)變更預警重归,并自動修改相應的元數(shù)據(jù)米愿,生成版本信息。
5.元模型構(gòu)建
分為以物理表為核心的基礎(chǔ)元模型構(gòu)建鼻吮,以及以血緣為中心的血緣元模型育苟。
基礎(chǔ)元模型構(gòu)建以物理表為中心,打通其與技術(shù)元數(shù)據(jù)(主題椎木、業(yè)務(wù)過程违柏、Schema)的關(guān)系,實現(xiàn)了物理表的清晰歸屬香椎,打通其與生產(chǎn)元數(shù)據(jù)的關(guān)系漱竖,要加上物理表查詢熱度、資源消耗畜伐、查詢密級等生產(chǎn)使用信息馍惹,打通其與指標、維度和應用的對應關(guān)系玛界,為上層的取數(shù)應用建立了完備的元數(shù)據(jù)万矾。
血緣元模型以血緣為中心,通過監(jiān)控Doris審計日志慎框,通過sql解析完成自動的血緣關(guān)系構(gòu)建良狈,不僅要構(gòu)建從上游業(yè)務(wù)表到倉庫表的物理血緣,而且要打通倉庫表到下游對應報表的血緣笨枯,為后續(xù)的影響評估構(gòu)建了完備的元數(shù)據(jù)基礎(chǔ)
6.虛擬庫及表的管理
對于通過API接口方式對接的數(shù)據(jù)薪丁,要通過頁面手動添加庫,添加表及表字段類型馅精,字段名稱严嗜,字段中文名稱,字段長度等等洲敢,這樣的目的是為了統(tǒng)一元數(shù)據(jù)管理方式
5.2 業(yè)務(wù)元數(shù)據(jù)
5.2.1 數(shù)據(jù)域主題管理
- 數(shù)據(jù)倉庫是面向主題(數(shù)據(jù)綜合阻问、歸類并進行分析利用的抽象)的應用。數(shù)據(jù)倉庫模型設(shè)計除橫向的分層外沦疾,通常也需要根據(jù)業(yè)務(wù)情況進行縱向劃分數(shù)據(jù)域称近。數(shù)據(jù)域是聯(lián)系較為緊密的數(shù)據(jù)主題的集合第队,是業(yè)務(wù)對象高度概括的概念層次歸類,目的是便于數(shù)據(jù)的管理和應用刨秆。
- 數(shù)據(jù)域是指面向業(yè)務(wù)分析凳谦,將業(yè)務(wù)過程或者維度進行抽象的集合。為保障整個體系的生命力衡未,數(shù)據(jù)域需要抽象提煉尸执,并長期維護更新。在劃分數(shù)據(jù)域時缓醋,既能涵蓋當前所有的業(yè)務(wù)需求如失,又能讓新業(yè)務(wù)在進入時可以被包含進已有的數(shù)據(jù)域或擴展新的數(shù)據(jù)域。數(shù)據(jù)域的劃分工作可以在業(yè)務(wù)調(diào)研之后進行送粱,需要分析各個業(yè)務(wù)模塊中有哪些業(yè)務(wù)活動褪贵。
- 數(shù)據(jù)域可以按照用戶企業(yè)的部門劃分,也可以按照業(yè)務(wù)過程或者業(yè)務(wù)板塊中的功能模塊進行劃分
數(shù)據(jù)域的管理本質(zhì)是一個分類管理抗俄,暫定二級分類
數(shù)據(jù)域主題作用于數(shù)倉內(nèi)部數(shù)據(jù)表的管理及數(shù)據(jù)指標的分類管理
5.2.2 數(shù)據(jù)維度管理
建立統(tǒng)一的維度管理系統(tǒng)脆丁,實現(xiàn)對維度信息的統(tǒng)一管控,并為公司的數(shù)據(jù)產(chǎn)品提供統(tǒng)一的維度數(shù)據(jù)服務(wù)动雹,包含維度開發(fā)管理槽卫,維度信息管理及維度數(shù)據(jù)服務(wù)三個方面。
維度管理:基于數(shù)據(jù)維度管理規(guī)范胰蝠,對維度新增歼培、修改、發(fā)布等生命周期進行統(tǒng)一管理茸塞。
維度服務(wù):基于數(shù)據(jù)倉庫ODS層模型源數(shù)據(jù)躲庄,建立服務(wù)化的維度表模型,在模型基礎(chǔ)上建立維度翔横,包括系統(tǒng)維度和手工維度定義读跷,支持離線和實時大數(shù)據(jù)量的維度查詢服務(wù)梗搅,維度創(chuàng)建完成后為各數(shù)據(jù)產(chǎn)品提供高可用禾唁,高性能的數(shù)據(jù)服務(wù)
1, 選擇業(yè)務(wù)過程 根據(jù)業(yè)務(wù)場景以及可用數(shù)據(jù)源 2无切, 聲明粒度 根據(jù)事實表及應用場景荡短,確定匯總粒度,一般盡可能的用最細粒度 3哆键, 確定維度 根據(jù)確定的粒度掘托,定義對應的維度,最細粒度籍嘹,也是最低層次的維度 4闪盔, 確定事實 確認將哪些事實放到事實表中弯院,維度表只是做關(guān)聯(lián),不做維度數(shù)據(jù)的查詢服務(wù)泪掀。
維度定義: 維度按集團產(chǎn)業(yè)進行指標一級業(yè)務(wù)域劃分听绳,包括:智能工廠、供應商乓诽、采購讹剔、銷售乒融、門店、倉儲鼠证、運輸、POS等靠抑;在各業(yè)務(wù)域下量九,對維度進行主題分類,主要有:時間類(DT)孕荠、組織類(OG)娩鹉、產(chǎn)品(PD)、銷售平臺(SP)稚伍、經(jīng)營方式(BM)弯予、終端(TM)、業(yè)務(wù)渠道(BC)个曙、營銷(MK)锈嫩、會員(MB)、采購模式(PM)垦搬、地點(AD)等呼寸。
維度管理:
維度:維度平臺要支持快速定義維度,通過設(shè)置維度的基本信息,選擇維度映射的維度表猴贰,做好維度與維度表的映射对雪,設(shè)定維度的一些特性(布爾維度,時間維度米绕,雜項維度等)瑟捣,檢測維度的定義結(jié)果。達到了讓業(yè)務(wù)人員能夠只是通過頁面操作就可以制定需要的維度栅干。
維度表:數(shù)據(jù)開發(fā)人員可以通過維度庫平臺定義維度表迈套,定義好之后可以集成數(shù)據(jù)倉庫的同步任務(wù)一鍵將倉庫的數(shù)據(jù)同步到維度表中,將維度表與維度做映射關(guān)系碱鳞。
維度層級:維度庫平臺支持定義維度層級桑李,只要是維度庫平臺上有的維度表并且做好維度與維度的映射關(guān)系之后,就可以定義需要的維度層級,根據(jù)維度層級提供維度值的上卷下鉆查詢服務(wù)贵白。
維度血緣:提供了維度率拒,指標,報表的血緣關(guān)系禁荒,以及還準備做的維度數(shù)據(jù)的血緣俏橘,維度,指標圈浇,報表調(diào)用次數(shù)的血緣等等寥掐。
5.3 數(shù)據(jù)地圖
數(shù)據(jù)地圖提供數(shù)據(jù)檢索能力,致力于提供蜀海生態(tài)內(nèi)豐富數(shù)據(jù)源的檢索服務(wù)磷蜀。完成找數(shù)據(jù)的過程召耘,通過該平臺,用戶可以以較小成本找到所需數(shù)據(jù)褐隆,無論是業(yè)務(wù)數(shù)據(jù)污它、數(shù)倉數(shù)據(jù)庫表或字段、數(shù)據(jù)指標庶弃,數(shù)據(jù)服務(wù)都可以通過該功能完成檢索衫贬,對業(yè)務(wù)及數(shù)據(jù)開發(fā)使用人員能很快的找到需要的資源,并根據(jù)搜索的結(jié)果展示了解數(shù)據(jù)
1.找表
通過統(tǒng)一的查詢頁面歇攻,通過輸入關(guān)鍵字完成數(shù)據(jù)表的檢索
在檢索的結(jié)果頁面找到符合自己的數(shù)據(jù)固惯,進去查看表的詳情頁信息,詳情頁展示內(nèi)容包括
- 表的詳情信息
- 表的字段信息
- 表的數(shù)據(jù)預覽(最多10條)
- 表的血緣關(guān)系(包括表的上下游依賴缴守,表的關(guān)聯(lián)關(guān)系)
- 表的使用情況統(tǒng)計
- 表的建表語句
- 表評論信息葬毫,對于表有不理解的地方可以在這塊進行提問
- 表的分區(qū)信息
- 表的使用說明
- 收藏及使用足跡記錄
表明細
2.找維度
通過統(tǒng)一的維度檢索頁面,通過輸入關(guān)鍵字檢索字段信息屡穗,點擊字段列表數(shù)據(jù)贴捡,可以查看該字段的信息
- 維度所在表的信息
- 維度關(guān)聯(lián)表的信息
- 維度說明信息
- 該維度關(guān)聯(lián)的指標數(shù)據(jù)信息
- 維度評論
3.找指標
通過統(tǒng)一的指標檢索頁面,通過輸入關(guān)鍵字檢索指標信息村砂,點擊指標列表數(shù)據(jù)烂斋,可以查看該指標的信息
- 顯示指標的基本信息
- 指標的生產(chǎn)鏈路
- 指標技術(shù)邏輯
- 指標字段信息(按維度和指標分開)
- 指標數(shù)據(jù)預覽
- 指標使用說明
- 指標評論
指標明細:
4.找服務(wù)
通過統(tǒng)一的服務(wù)檢索頁面,通過輸入關(guān)鍵字檢索服務(wù)信息础废,點擊服務(wù)列表數(shù)據(jù)汛骂,可以查看該服務(wù)的信息
- 數(shù)據(jù)服務(wù)接口基本信息
- 數(shù)據(jù)接口參數(shù)及響應說明
- 數(shù)據(jù)接口使用說明
- 接口權(quán)限
5.找報表
5.3 數(shù)據(jù)生命周期管理
主要是為了完成數(shù)據(jù)從產(chǎn)生、采集色迂、處理香缺、存儲手销、加工歇僧、使用及歸檔銷毀的全生命周期的各個階段的管理
根據(jù)數(shù)據(jù)的使用情況或者根據(jù) 用戶設(shè)定的數(shù)據(jù)生命周期,及時幫用戶銷毀數(shù)據(jù),在大數(shù)據(jù)研發(fā)中大部分用戶關(guān)注的是數(shù)據(jù)怎么進入數(shù)據(jù)倉庫诈悍,但是很少有用戶會關(guān)注數(shù)據(jù)的銷毀祸轮。隨著時間持續(xù)性發(fā)展之后數(shù)據(jù)會無限量增加,數(shù)據(jù)倉庫慢慢的成為一個很大的成本負擔侥钳。數(shù)據(jù)生命周期管理适袜,關(guān)注于數(shù)據(jù)整個鏈路的生命周期管理,及時推薦無效數(shù)據(jù)下線舷夺。 在數(shù)據(jù)下線的過程中苦酱,很多用戶會擔心數(shù)據(jù)誤刪,完備的數(shù)據(jù)下線機制给猾,在有效期限內(nèi)可以對數(shù)據(jù)進行恢復疫萤,確保數(shù)據(jù)誤刪的情況。
主要是通過數(shù)據(jù)接入敢伸,數(shù)據(jù)ETL扯饶、數(shù)據(jù)地圖、元數(shù)據(jù)池颈、數(shù)據(jù)指標各個系統(tǒng)在使用過程中的使用日志數(shù)據(jù)尾序,對數(shù)據(jù)進行一個全面的采集及分析,生成數(shù)據(jù)在各個階段的數(shù)據(jù)指標躯砰。
生命周期管理關(guān)注以下內(nèi)容:
- 數(shù)據(jù)歸檔管理:對符合歸檔的數(shù)據(jù)進行歸檔到冷存儲上每币,減少存儲及計算成本
- 統(tǒng)計在數(shù)據(jù)每個階段的數(shù)據(jù)變化趨勢
- 業(yè)務(wù)庫DDL變更趨勢
- 數(shù)據(jù)熱度排名:數(shù)據(jù)庫,數(shù)據(jù)表的使用熱度統(tǒng)計
- 數(shù)據(jù)庫數(shù)據(jù)量排名琢歇,
- 庫內(nèi)數(shù)據(jù)表數(shù)據(jù)排名
根據(jù)數(shù)據(jù)的使用情況或者根據(jù) 用戶設(shè)定的數(shù)據(jù)生命周期脯爪,及時幫用戶銷毀數(shù)據(jù)
- 在大數(shù)據(jù)研發(fā)中大部分用戶關(guān)注的是數(shù)據(jù)怎么進入數(shù)據(jù)倉庫,但是很少有用戶會關(guān)注數(shù)據(jù)的銷毀矿微。隨著時間持續(xù)性發(fā)展之后數(shù)據(jù)會無限量增加痕慢,數(shù)據(jù)倉庫慢慢的成為一個很大的成本負擔。數(shù)據(jù)生命周期管理涌矢,關(guān)注于數(shù)據(jù)整個鏈路的生命周期管理掖举,及時推薦無效數(shù)據(jù)下線。 在數(shù)據(jù)下線的過程中娜庇,很多用戶會擔心數(shù)據(jù)誤刪塔次,完備的數(shù)據(jù)下線機制,在有效期限內(nèi)可以對數(shù)據(jù)進行恢復名秀,確保數(shù)據(jù)誤刪的情況
5.4 數(shù)據(jù)資產(chǎn)全景視圖
數(shù)倉界的360励负,可以定量評估數(shù)據(jù)資產(chǎn)的成本,價值匕得,質(zhì)量继榆。幫助企業(yè)優(yōu)化存儲成本巾表,節(jié)約計算資源。精細化的數(shù)據(jù)生命周期管理略吨,幫助企業(yè)更好的管理數(shù)據(jù)的生產(chǎn)到銷毀的整個生命周期集币。
- 資源視圖
- 數(shù)據(jù)庫統(tǒng)計
- 表統(tǒng)計
- 表引用統(tǒng)計
- 數(shù)據(jù)在各個生命周期階段的資源使用情況
- 文件數(shù)量:總文件數(shù),累計存儲量翠忠,當月優(yōu)化存儲量
- Job統(tǒng)計
- 優(yōu)化建議等
- 足跡
5.5 數(shù)據(jù)問答
我們?yōu)閿?shù)據(jù)地圖中的找表鞠苟,找維度,找指標秽之,找服務(wù)当娱,找報表都提供了數(shù)據(jù)問答功能,通過評論問答功能考榨,幫助用戶可以快速得到問題反饋:如果用戶看了信息后還是感到有問題趾访,提供評論問答的功能,用戶通過這個功能可以進行提問董虱,會有相應的負責人進行回復扼鞋。對于重復問反復問的問題,用戶通過查看其它人的提問和回復就能找到答案愤诱。并且負責人還會定期的將問答信息沉淀到對應的元數(shù)據(jù)里云头,不斷地對元數(shù)據(jù)進行補充和完善
下一講會講解怎么基于Apache doris實現(xiàn)快速數(shù)據(jù)接入,零代碼數(shù)據(jù)接入系統(tǒng)