基于Apache doris怎么構(gòu)建數(shù)據(jù)中臺(三)-數(shù)據(jù)資產(chǎn)管理

前面我們講了什么是數(shù)據(jù)中臺,及數(shù)據(jù)中臺的架構(gòu)及功能規(guī)劃荷科,這次我們開始從數(shù)據(jù)資產(chǎn)開始拆解每個功能模塊做的內(nèi)容

1.概述

數(shù)據(jù)資產(chǎn)管理平臺可以定量評估數(shù)據(jù)資產(chǎn)的成本笔链,價值,質(zhì)量趣惠。幫助企業(yè)優(yōu)化存儲成本狸棍,節(jié)約計算資源。精細化的數(shù)據(jù)生命周期管理信卡,幫助企業(yè)更好的管理數(shù)據(jù)的生產(chǎn)到銷毀的整個生命周期隔缀。

在管理方面:管理者在規(guī)劃數(shù)據(jù)文化建設(shè)時,對企業(yè)數(shù)據(jù)資產(chǎn)的全局構(gòu)成傍菇、使用形式猾瘸、 使用效果都需要詳細的指標輸入,往往這些指標都沒有被統(tǒng)籌起來;在組織保障上牵触, 需要多少資源淮悼、運作機制應該如何制定才能保障數(shù)據(jù)文化的落地,也需要運營指標來 輔助決策揽思,所以管理者通常需從以下幾個方面的問題進行思考:

  1. 數(shù)據(jù)如何被用起來袜腥?
  2. 數(shù)據(jù)保值后如何增值?
  3. 組織已不再滿足變化所需钉汗?
  4. 管理體系如何建立羹令?

在治理方面:企業(yè)擁有大量的數(shù)據(jù)資產(chǎn)之后,由于分工不同损痰,一般的數(shù)據(jù)生產(chǎn)者福侈、數(shù)據(jù) 消費者之間會隨著時間推移、人員變動等因素卢未,造成數(shù)據(jù)資產(chǎn)的信息成為無人維護的 靜態(tài)狀態(tài)肪凛,數(shù)據(jù)的存儲成本、檢索的理解成本會越來越高辽社。這些數(shù)據(jù)資產(chǎn)分布在一片 數(shù)據(jù)沼澤中伟墙,難以分辨數(shù)據(jù)資產(chǎn)的成本、價值滴铅,更難以進行生命周期管理戳葵,甚至給數(shù)據(jù) 消費者帶來難以跨越的信息鴻溝;數(shù)據(jù)治理通常關(guān)注以下幾個方面的問題:

  1. 數(shù)據(jù)的成本如何降低汉匙?
  2. 數(shù)據(jù)生命周期如何管理譬淳?
  3. 數(shù)據(jù)質(zhì)量低,如何保證可用盹兢?
  4. 數(shù)據(jù)價值如何評估邻梆?

在運營方面:數(shù)據(jù)資產(chǎn)從被建立,到數(shù)據(jù)內(nèi)容的生產(chǎn)绎秒、到被使用浦妄,各環(huán)節(jié)用戶各自所關(guān)注的、所進行的工作重點不一致见芹;從數(shù)據(jù)管理視角剂娄、數(shù)據(jù)生產(chǎn)視角、數(shù)據(jù)應用視角來 看玄呛,各個視角之間的目標實現(xiàn)阅懦、工作重點、協(xié)作方式徘铝,不再以點對點的形式存在耳胎,而是 貫穿于整個數(shù)據(jù)鏈路中惯吕,數(shù)據(jù)運營正是為了從以上角度來發(fā)現(xiàn)問題、解決問題怕午,作用是:數(shù)據(jù)運營會從“戰(zhàn)略废登、執(zhí)行、目標拆解郁惜、跟蹤實現(xiàn)”各個階段進行統(tǒng)籌堡距,對運營目標 負責。數(shù)據(jù)運營通常關(guān)注以下幾個方面的問題:

  1. 有限的資源如何科學分配兆蕉?
  2. 數(shù)據(jù)的關(guān)系如何互相影響羽戒?
  3. 如何發(fā)現(xiàn)最迫切的問題?
  4. 數(shù)據(jù)運營缺乏工具虎韵、渠道半醉;

在使用方面:數(shù)據(jù)只有被用起來,才能發(fā)揮其應有的價值劝术。然而當前部分的企業(yè)使用 數(shù)據(jù)的情況并不樂觀。根據(jù)調(diào)研統(tǒng)計呆奕,只有約 14%的企業(yè)數(shù)據(jù)相關(guān)的從業(yè)人員認為使用 數(shù)據(jù)是方便的养晋。數(shù)據(jù)使用是否方便,可從兩個維度來判斷梁钾,一是工具:是否能夠具備 “順暢的绳泉、快捷的、容易完成的”數(shù)據(jù)使用場景的工具集姆泻;二是時間:是否可以快速地查找零酪、信任、理解數(shù)據(jù)拇勃。根據(jù)調(diào)研統(tǒng)計四苇,有不低于 80%的時間消耗在“查找-理解-信任”數(shù)據(jù)的過程中;這兩個現(xiàn)狀成為阻礙數(shù)據(jù)使用的最大的瓶頸方咆。我們歸納了數(shù)據(jù)使用的幾 大問題點月腋,如下所示:

  1. 數(shù)據(jù)孤島亟需打破;
  2. 發(fā)現(xiàn)瓣赂、理解榆骚、使用數(shù)據(jù)耗時費力;
  3. 知識經(jīng)驗無法共享煌集、迭代妓肢;
  4. 溝通不暢、權(quán)責不明苫纤;
  5. 個人信息無法歸檔碉钠;
  6. 數(shù)據(jù)安全如何保障纲缓;

本次只介紹數(shù)據(jù)資產(chǎn)管理的核心元數(shù)據(jù)管理及數(shù)據(jù)資產(chǎn)數(shù)據(jù)地圖,及數(shù)據(jù)生命周期管理放钦,其他相關(guān)模塊:數(shù)據(jù)接入色徘,數(shù)據(jù)處理,數(shù)據(jù)服務(wù)等后面介紹

2.資源管理

實現(xiàn)集中對各種數(shù)據(jù)資源的管理操禀,包括數(shù)據(jù)庫褂策,消息隊列等的管理

實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)源管理:屬性包括:所屬業(yè)務(wù)名稱,業(yè)務(wù)技術(shù)負責人颓屑,數(shù)據(jù)源IP斤寂,端口、數(shù)據(jù)庫名稱揪惦,用戶名遍搞、密碼,數(shù)據(jù)庫類型(Mysql器腋、oracle溪猿、SQLServer、Doris等)纫塌,創(chuàng)建時間诊县,創(chuàng)建人

實現(xiàn)Kafka數(shù)據(jù)源管理:屬性包括:Kafka集群名稱,Kafka Broker Server地址(示例:172.22.197.123:9020)措左,對應zookeeper地址(示例:172.22.197.123:2181),創(chuàng)建時間依痊,創(chuàng)建人,集群負責人

3.元數(shù)據(jù)管理

元數(shù)據(jù)管理是整個系統(tǒng)的核心怎披,所有的功能及業(yè)務(wù)流程都是圍繞這個進行的胸嘁,也是整個系統(tǒng)數(shù)據(jù)治理的核心

元數(shù)據(jù)主要解決三個問題:首先,通過建立相應的組織凉逛、流程和工具性宏,推動業(yè)務(wù)標準的落地實施,實現(xiàn)指標的規(guī)范定義状飞,消除指標認知的歧義衔沼;其次,基于業(yè)務(wù)現(xiàn)狀和未來的演進方式昔瞧,對業(yè)務(wù)模型進行抽象指蚁,制定清晰的主題、業(yè)務(wù)過程和分析方向自晰,構(gòu)建完備的技術(shù)元數(shù)據(jù)凝化,對物理模型進行準確完善的描述,并打通技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)的關(guān)系酬荞,對物理模型進行完備的刻畫搓劫;第三瞧哟,通過元數(shù)據(jù)建設(shè),為使用數(shù)據(jù)提效枪向,解決找數(shù)據(jù)勤揩,理解數(shù)據(jù),問題評估難題以及取數(shù)和數(shù)據(jù)可視化難題

4.元數(shù)據(jù)管理系統(tǒng)架構(gòu)

這里元數(shù)據(jù)分為物理元模型和血緣元模型

img

5.元數(shù)據(jù)采集

元數(shù)據(jù)采集分為人工錄入和自動抽取秘蛔,通過人工錄入的方式實現(xiàn)物理表的準確歸屬(包括該表屬于倉庫哪一層陨亡、對應的主題、業(yè)務(wù)過程深员、星型模型關(guān)系等)以及指標的采集负蠕,從而完成技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的采集,通過自動抽取的方式完成生產(chǎn)元數(shù)據(jù)的采集和使用元數(shù)據(jù)的采集倦畅,主要包括:物理模型的依賴關(guān)系遮糖、存儲占用、熱度等信息

血緣關(guān)系:這塊因為我們數(shù)倉是用的Apache doris叠赐,實現(xiàn)起來相對月Hadoop架構(gòu)的簡單了很多欲账,通過Flume采集每個Doris Fe節(jié)點的審計日志(fe.audit.log)中的sql,通過阿里開源的數(shù)據(jù)庫連接池Druid進行解析自動生成芭概,這里同時還可以對SQL操作進行一些安全審計赛不,比如Delete,truncate谈山,drop及sql執(zhí)行成功失敗,執(zhí)行時間等進行審計預警

5.1 元數(shù)據(jù)管理功能

1.業(yè)務(wù)數(shù)據(jù)元數(shù)據(jù)同步采集

實現(xiàn)對業(yè)務(wù)數(shù)據(jù)庫數(shù)據(jù)表的元數(shù)據(jù)自動采集同步宏怔,包括建表語句中的中文備注信息奏路,并將中文備注信息填寫到對應的中文字段名稱中,界面提供元數(shù)據(jù)修改功能臊诊,主要修改是添加業(yè)務(wù)技術(shù)負責人鸽粉、修改表的中文名稱、備注說明等信息抓艳,表的字段名稱触机,類型、長度等信息不允許修改

2.數(shù)據(jù)倉表元數(shù)據(jù)采集

實現(xiàn)對數(shù)倉數(shù)據(jù)庫數(shù)據(jù)表的元數(shù)據(jù)自動采集同步玷或,包括建表語句中的中文備注信息儡首,并將中文備注信息填寫到對應的中文字段名稱中,界面提供元數(shù)據(jù)修改功能偏友,主要修改是添加數(shù)倉表對應技術(shù)負責人蔬胯、修改表的中文名稱、備注說明等信息位他,表的字段名稱氛濒,類型产场、長度等信息不允許修改

3.元數(shù)據(jù)版本管理

因為數(shù)據(jù)庫表存在結(jié)構(gòu)變更,這里需要提供元數(shù)據(jù)多的歷史版本管理舞竿,可以查詢元數(shù)據(jù)歷史版本信息

4.業(yè)務(wù)元數(shù)據(jù)變更管理及預警

對業(yè)務(wù)元數(shù)據(jù)的變更(主要是Mysql數(shù)據(jù)庫)京景,通過flink監(jiān)控binlog的schema變更時間,一旦發(fā)現(xiàn)及時發(fā)送消息通知骗奖,后端監(jiān)控變更消息隊列确徙,取到變更信息,發(fā)出元數(shù)據(jù)變更預警重归,并自動修改相應的元數(shù)據(jù)米愿,生成版本信息。

5.元模型構(gòu)建

分為以物理表為核心的基礎(chǔ)元模型構(gòu)建鼻吮,以及以血緣為中心的血緣元模型育苟。

基礎(chǔ)元模型構(gòu)建以物理表為中心,打通其與技術(shù)元數(shù)據(jù)(主題椎木、業(yè)務(wù)過程违柏、Schema)的關(guān)系,實現(xiàn)了物理表的清晰歸屬香椎,打通其與生產(chǎn)元數(shù)據(jù)的關(guān)系漱竖,要加上物理表查詢熱度、資源消耗畜伐、查詢密級等生產(chǎn)使用信息馍惹,打通其與指標、維度和應用的對應關(guān)系玛界,為上層的取數(shù)應用建立了完備的元數(shù)據(jù)万矾。

血緣元模型以血緣為中心,通過監(jiān)控Doris審計日志慎框,通過sql解析完成自動的血緣關(guān)系構(gòu)建良狈,不僅要構(gòu)建從上游業(yè)務(wù)表到倉庫表的物理血緣,而且要打通倉庫表到下游對應報表的血緣笨枯,為后續(xù)的影響評估構(gòu)建了完備的元數(shù)據(jù)基礎(chǔ)

6.虛擬庫及表的管理

對于通過API接口方式對接的數(shù)據(jù)薪丁,要通過頁面手動添加庫,添加表及表字段類型馅精,字段名稱严嗜,字段中文名稱,字段長度等等洲敢,這樣的目的是為了統(tǒng)一元數(shù)據(jù)管理方式

5.2 業(yè)務(wù)元數(shù)據(jù)

5.2.1 數(shù)據(jù)域主題管理

  1. 數(shù)據(jù)倉庫是面向主題(數(shù)據(jù)綜合阻问、歸類并進行分析利用的抽象)的應用。數(shù)據(jù)倉庫模型設(shè)計除橫向的分層外沦疾,通常也需要根據(jù)業(yè)務(wù)情況進行縱向劃分數(shù)據(jù)域称近。數(shù)據(jù)域是聯(lián)系較為緊密的數(shù)據(jù)主題的集合第队,是業(yè)務(wù)對象高度概括的概念層次歸類,目的是便于數(shù)據(jù)的管理和應用刨秆。
  2. 數(shù)據(jù)域是指面向業(yè)務(wù)分析凳谦,將業(yè)務(wù)過程或者維度進行抽象的集合。為保障整個體系的生命力衡未,數(shù)據(jù)域需要抽象提煉尸执,并長期維護更新。在劃分數(shù)據(jù)域時缓醋,既能涵蓋當前所有的業(yè)務(wù)需求如失,又能讓新業(yè)務(wù)在進入時可以被包含進已有的數(shù)據(jù)域或擴展新的數(shù)據(jù)域。數(shù)據(jù)域的劃分工作可以在業(yè)務(wù)調(diào)研之后進行送粱,需要分析各個業(yè)務(wù)模塊中有哪些業(yè)務(wù)活動褪贵。
  3. 數(shù)據(jù)域可以按照用戶企業(yè)的部門劃分,也可以按照業(yè)務(wù)過程或者業(yè)務(wù)板塊中的功能模塊進行劃分

數(shù)據(jù)域的管理本質(zhì)是一個分類管理抗俄,暫定二級分類

數(shù)據(jù)域主題作用于數(shù)倉內(nèi)部數(shù)據(jù)表的管理及數(shù)據(jù)指標的分類管理

5.2.2 數(shù)據(jù)維度管理

建立統(tǒng)一的維度管理系統(tǒng)脆丁,實現(xiàn)對維度信息的統(tǒng)一管控,并為公司的數(shù)據(jù)產(chǎn)品提供統(tǒng)一的維度數(shù)據(jù)服務(wù)动雹,包含維度開發(fā)管理槽卫,維度信息管理及維度數(shù)據(jù)服務(wù)三個方面。

維度管理:基于數(shù)據(jù)維度管理規(guī)范胰蝠,對維度新增歼培、修改、發(fā)布等生命周期進行統(tǒng)一管理茸塞。

維度服務(wù):基于數(shù)據(jù)倉庫ODS層模型源數(shù)據(jù)躲庄,建立服務(wù)化的維度表模型,在模型基礎(chǔ)上建立維度翔横,包括系統(tǒng)維度和手工維度定義读跷,支持離線和實時大數(shù)據(jù)量的維度查詢服務(wù)梗搅,維度創(chuàng)建完成后為各數(shù)據(jù)產(chǎn)品提供高可用禾唁,高性能的數(shù)據(jù)服務(wù)

1, 選擇業(yè)務(wù)過程 根據(jù)業(yè)務(wù)場景以及可用數(shù)據(jù)源 2无切, 聲明粒度 根據(jù)事實表及應用場景荡短,確定匯總粒度,一般盡可能的用最細粒度 3哆键, 確定維度 根據(jù)確定的粒度掘托,定義對應的維度,最細粒度籍嘹,也是最低層次的維度 4闪盔, 確定事實 確認將哪些事實放到事實表中弯院,維度表只是做關(guān)聯(lián),不做維度數(shù)據(jù)的查詢服務(wù)泪掀。

維度定義: 維度按集團產(chǎn)業(yè)進行指標一級業(yè)務(wù)域劃分听绳,包括:智能工廠、供應商乓诽、采購讹剔、銷售乒融、門店、倉儲鼠证、運輸、POS等靠抑;在各業(yè)務(wù)域下量九,對維度進行主題分類,主要有:時間類(DT)孕荠、組織類(OG)娩鹉、產(chǎn)品(PD)、銷售平臺(SP)稚伍、經(jīng)營方式(BM)弯予、終端(TM)、業(yè)務(wù)渠道(BC)个曙、營銷(MK)锈嫩、會員(MB)、采購模式(PM)垦搬、地點(AD)等呼寸。

維度管理:

維度:維度平臺要支持快速定義維度,通過設(shè)置維度的基本信息,選擇維度映射的維度表猴贰,做好維度與維度表的映射对雪,設(shè)定維度的一些特性(布爾維度,時間維度米绕,雜項維度等)瑟捣,檢測維度的定義結(jié)果。達到了讓業(yè)務(wù)人員能夠只是通過頁面操作就可以制定需要的維度栅干。

維度表:數(shù)據(jù)開發(fā)人員可以通過維度庫平臺定義維度表迈套,定義好之后可以集成數(shù)據(jù)倉庫的同步任務(wù)一鍵將倉庫的數(shù)據(jù)同步到維度表中,將維度表與維度做映射關(guān)系碱鳞。

維度層級:維度庫平臺支持定義維度層級桑李,只要是維度庫平臺上有的維度表并且做好維度與維度的映射關(guān)系之后,就可以定義需要的維度層級,根據(jù)維度層級提供維度值的上卷下鉆查詢服務(wù)贵白。

維度血緣:提供了維度率拒,指標,報表的血緣關(guān)系禁荒,以及還準備做的維度數(shù)據(jù)的血緣俏橘,維度,指標圈浇,報表調(diào)用次數(shù)的血緣等等寥掐。

5.3 數(shù)據(jù)地圖

數(shù)據(jù)地圖提供數(shù)據(jù)檢索能力,致力于提供蜀海生態(tài)內(nèi)豐富數(shù)據(jù)源的檢索服務(wù)磷蜀。完成找數(shù)據(jù)的過程召耘,通過該平臺,用戶可以以較小成本找到所需數(shù)據(jù)褐隆,無論是業(yè)務(wù)數(shù)據(jù)污它、數(shù)倉數(shù)據(jù)庫表或字段、數(shù)據(jù)指標庶弃,數(shù)據(jù)服務(wù)都可以通過該功能完成檢索衫贬,對業(yè)務(wù)及數(shù)據(jù)開發(fā)使用人員能很快的找到需要的資源,并根據(jù)搜索的結(jié)果展示了解數(shù)據(jù)

img

1.找表

通過統(tǒng)一的查詢頁面歇攻,通過輸入關(guān)鍵字完成數(shù)據(jù)表的檢索

在檢索的結(jié)果頁面找到符合自己的數(shù)據(jù)固惯,進去查看表的詳情頁信息,詳情頁展示內(nèi)容包括

  • 表的詳情信息
  • 表的字段信息
  • 表的數(shù)據(jù)預覽(最多10條)
  • 表的血緣關(guān)系(包括表的上下游依賴缴守,表的關(guān)聯(lián)關(guān)系)
  • 表的使用情況統(tǒng)計
  • 表的建表語句
  • 表評論信息葬毫,對于表有不理解的地方可以在這塊進行提問
  • 表的分區(qū)信息
  • 表的使用說明
  • 收藏及使用足跡記錄
img

表明細

img

2.找維度

通過統(tǒng)一的維度檢索頁面,通過輸入關(guān)鍵字檢索字段信息屡穗,點擊字段列表數(shù)據(jù)贴捡,可以查看該字段的信息

  • 維度所在表的信息
  • 維度關(guān)聯(lián)表的信息
  • 維度說明信息
  • 該維度關(guān)聯(lián)的指標數(shù)據(jù)信息
  • 維度評論

3.找指標

通過統(tǒng)一的指標檢索頁面,通過輸入關(guān)鍵字檢索指標信息村砂,點擊指標列表數(shù)據(jù)烂斋,可以查看該指標的信息

  • 顯示指標的基本信息
  • 指標的生產(chǎn)鏈路
  • 指標技術(shù)邏輯
  • 指標字段信息(按維度和指標分開)
  • 指標數(shù)據(jù)預覽
  • 指標使用說明
  • 指標評論

指標明細:

img

4.找服務(wù)

通過統(tǒng)一的服務(wù)檢索頁面,通過輸入關(guān)鍵字檢索服務(wù)信息础废,點擊服務(wù)列表數(shù)據(jù)汛骂,可以查看該服務(wù)的信息

  • 數(shù)據(jù)服務(wù)接口基本信息
  • 數(shù)據(jù)接口參數(shù)及響應說明
  • 數(shù)據(jù)接口使用說明
  • 接口權(quán)限

5.找報表

5.3 數(shù)據(jù)生命周期管理

主要是為了完成數(shù)據(jù)從產(chǎn)生、采集色迂、處理香缺、存儲手销、加工歇僧、使用及歸檔銷毀的全生命周期的各個階段的管理

根據(jù)數(shù)據(jù)的使用情況或者根據(jù) 用戶設(shè)定的數(shù)據(jù)生命周期,及時幫用戶銷毀數(shù)據(jù),在大數(shù)據(jù)研發(fā)中大部分用戶關(guān)注的是數(shù)據(jù)怎么進入數(shù)據(jù)倉庫诈悍,但是很少有用戶會關(guān)注數(shù)據(jù)的銷毀祸轮。隨著時間持續(xù)性發(fā)展之后數(shù)據(jù)會無限量增加,數(shù)據(jù)倉庫慢慢的成為一個很大的成本負擔侥钳。數(shù)據(jù)生命周期管理适袜,關(guān)注于數(shù)據(jù)整個鏈路的生命周期管理,及時推薦無效數(shù)據(jù)下線舷夺。 在數(shù)據(jù)下線的過程中苦酱,很多用戶會擔心數(shù)據(jù)誤刪,完備的數(shù)據(jù)下線機制给猾,在有效期限內(nèi)可以對數(shù)據(jù)進行恢復疫萤,確保數(shù)據(jù)誤刪的情況。

主要是通過數(shù)據(jù)接入敢伸,數(shù)據(jù)ETL扯饶、數(shù)據(jù)地圖、元數(shù)據(jù)池颈、數(shù)據(jù)指標各個系統(tǒng)在使用過程中的使用日志數(shù)據(jù)尾序,對數(shù)據(jù)進行一個全面的采集及分析,生成數(shù)據(jù)在各個階段的數(shù)據(jù)指標躯砰。

生命周期管理關(guān)注以下內(nèi)容:

  1. 數(shù)據(jù)歸檔管理:對符合歸檔的數(shù)據(jù)進行歸檔到冷存儲上每币,減少存儲及計算成本
  2. 統(tǒng)計在數(shù)據(jù)每個階段的數(shù)據(jù)變化趨勢
  3. 業(yè)務(wù)庫DDL變更趨勢
  4. 數(shù)據(jù)熱度排名:數(shù)據(jù)庫,數(shù)據(jù)表的使用熱度統(tǒng)計
  5. 數(shù)據(jù)庫數(shù)據(jù)量排名琢歇,
  6. 庫內(nèi)數(shù)據(jù)表數(shù)據(jù)排名

根據(jù)數(shù)據(jù)的使用情況或者根據(jù) 用戶設(shè)定的數(shù)據(jù)生命周期脯爪,及時幫用戶銷毀數(shù)據(jù)

  1. 在大數(shù)據(jù)研發(fā)中大部分用戶關(guān)注的是數(shù)據(jù)怎么進入數(shù)據(jù)倉庫,但是很少有用戶會關(guān)注數(shù)據(jù)的銷毀矿微。隨著時間持續(xù)性發(fā)展之后數(shù)據(jù)會無限量增加痕慢,數(shù)據(jù)倉庫慢慢的成為一個很大的成本負擔。數(shù)據(jù)生命周期管理涌矢,關(guān)注于數(shù)據(jù)整個鏈路的生命周期管理掖举,及時推薦無效數(shù)據(jù)下線。 在數(shù)據(jù)下線的過程中娜庇,很多用戶會擔心數(shù)據(jù)誤刪塔次,完備的數(shù)據(jù)下線機制,在有效期限內(nèi)可以對數(shù)據(jù)進行恢復名秀,確保數(shù)據(jù)誤刪的情況

5.4 數(shù)據(jù)資產(chǎn)全景視圖

img

數(shù)倉界的360励负,可以定量評估數(shù)據(jù)資產(chǎn)的成本,價值匕得,質(zhì)量继榆。幫助企業(yè)優(yōu)化存儲成本巾表,節(jié)約計算資源。精細化的數(shù)據(jù)生命周期管理略吨,幫助企業(yè)更好的管理數(shù)據(jù)的生產(chǎn)到銷毀的整個生命周期集币。

  • 資源視圖
  • 數(shù)據(jù)庫統(tǒng)計
  • 表統(tǒng)計
  • 表引用統(tǒng)計
  • 數(shù)據(jù)在各個生命周期階段的資源使用情況
  • 文件數(shù)量:總文件數(shù),累計存儲量翠忠,當月優(yōu)化存儲量
  • Job統(tǒng)計
  • 優(yōu)化建議等
  • 足跡

5.5 數(shù)據(jù)問答

我們?yōu)閿?shù)據(jù)地圖中的找表鞠苟,找維度,找指標秽之,找服務(wù)当娱,找報表都提供了數(shù)據(jù)問答功能,通過評論問答功能考榨,幫助用戶可以快速得到問題反饋:如果用戶看了信息后還是感到有問題趾访,提供評論問答的功能,用戶通過這個功能可以進行提問董虱,會有相應的負責人進行回復扼鞋。對于重復問反復問的問題,用戶通過查看其它人的提問和回復就能找到答案愤诱。并且負責人還會定期的將問答信息沉淀到對應的元數(shù)據(jù)里云头,不斷地對元數(shù)據(jù)進行補充和完善

下一講會講解怎么基于Apache doris實現(xiàn)快速數(shù)據(jù)接入,零代碼數(shù)據(jù)接入系統(tǒng)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末淫半,一起剝皮案震驚了整個濱河市溃槐,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌科吭,老刑警劉巖昏滴,帶你破解...
    沈念sama閱讀 216,496評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異对人,居然都是意外死亡谣殊,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,407評論 3 392
  • 文/潘曉璐 我一進店門牺弄,熙熙樓的掌柜王于貴愁眉苦臉地迎上來姻几,“玉大人,你說我怎么就攤上這事势告∩甙疲” “怎么了?”我有些...
    開封第一講書人閱讀 162,632評論 0 353
  • 文/不壞的土叔 我叫張陵咱台,是天一觀的道長络拌。 經(jīng)常有香客問我,道長回溺,這世上最難降的妖魔是什么春贸? 我笑而不...
    開封第一講書人閱讀 58,180評論 1 292
  • 正文 為了忘掉前任混萝,我火速辦了婚禮,結(jié)果婚禮上祥诽,老公的妹妹穿的比我還像新娘。我一直安慰自己瓮恭,他們只是感情好雄坪,可當我...
    茶點故事閱讀 67,198評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著屯蹦,像睡著了一般维哈。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上登澜,一...
    開封第一講書人閱讀 51,165評論 1 299
  • 那天阔挠,我揣著相機與錄音,去河邊找鬼脑蠕。 笑死购撼,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的谴仙。 我是一名探鬼主播迂求,決...
    沈念sama閱讀 40,052評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼晃跺!你這毒婦竟也來了揩局?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,910評論 0 274
  • 序言:老撾萬榮一對情侶失蹤掀虎,失蹤者是張志新(化名)和其女友劉穎凌盯,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體烹玉,經(jīng)...
    沈念sama閱讀 45,324評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡驰怎,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,542評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了二打。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片砸西。...
    茶點故事閱讀 39,711評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖址儒,靈堂內(nèi)的尸體忽然破棺而出芹枷,到底是詐尸還是另有隱情,我是刑警寧澤莲趣,帶...
    沈念sama閱讀 35,424評論 5 343
  • 正文 年R本政府宣布鸳慈,位于F島的核電站,受9級特大地震影響喧伞,放射性物質(zhì)發(fā)生泄漏走芋。R本人自食惡果不足惜绩郎,卻給世界環(huán)境...
    茶點故事閱讀 41,017評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望翁逞。 院中可真熱鬧肋杖,春花似錦、人聲如沸挖函。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,668評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽怨喘。三九已至津畸,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間必怜,已是汗流浹背肉拓。 一陣腳步聲響...
    開封第一講書人閱讀 32,823評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留梳庆,地道東北人暖途。 一個月前我還...
    沈念sama閱讀 47,722評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像膏执,于是被迫代替她去往敵國和親丧肴。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,611評論 2 353

推薦閱讀更多精彩內(nèi)容