數(shù)字化時代瞧哟，企業(yè)需要知道他們擁有什么數(shù)據(jù)，數(shù)據(jù)在哪里枪向、由誰負責勤揩，數(shù)據(jù)中的值意味著什么，數(shù)據(jù)的生命周期是什么秘蛔，哪些數(shù)據(jù)安全性和隱私性需要保護陨亡，以及誰使用了數(shù)據(jù)，用于什么業(yè)務目的深员，數(shù)據(jù)的質(zhì)量怎么樣负蠕，等等。這些問題都需要通過元數(shù)據(jù)管理解決倦畅，缺乏有效的元數(shù)據(jù)管理遮糖，企業(yè)的數(shù)據(jù)資產(chǎn)可能會變成拖累企業(yè)利潤的“包袱”。

01 什么是元數(shù)據(jù)叠赐？

元數(shù)據(jù)（metadata）是關于數(shù)據(jù)的組織欲账、數(shù)據(jù)域及其關系的信息，簡言之芭概，元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)赛不。概念總是生澀，對于沒有IT背景的人來說比較抽象罢洲，不容易理解踢故，下面舉幾個例子。

• 示例1：歌詞中的元數(shù)據(jù)
  有一首很多80后耳熟能詳?shù)母枨小缎》肌罚柙~中有這么一句：“村里有個姑娘叫小芳殿较，長得好看又善良耸峭。” 我們對這句歌詞做一下分析斜脂。姓名：小芳抓艳；性別：姑娘（女）触机；長相：好看帚戳；性格：善良；住址：村里儡首。歌詞里面片任，“小芳”是被描述的對象，而“姓名”“性別”“長相”“性格”“住址”就是描述“小芳”的元數(shù)據(jù)蔬胯。
• 示例2：戶口本中的元數(shù)據(jù)
  戶口本中除了有姓名对供、身份證號、出生日期氛濒、住址产场、民族等信息外，還有家庭關系舞竿，如夫妻關系京景、父子關系、兄弟關系等骗奖。這些信息就是描述一個人的元數(shù)據(jù)确徙，通過戶口本中的元數(shù)據(jù)，我們不僅能夠了解一個人的基本信息执桌，還能夠了解其家庭關系鄙皇。
• 示例3：圖書館中的元數(shù)據(jù)
  圖書館都會用一個叫作“圖書目錄”的文件夾來管理藏書，圖書目錄包含圖書名稱仰挣、編號伴逸、作者、主題膘壶、簡介错蝴、擺放位置等信息，用來幫助圖書管理員管理和快速查找圖書香椎。元數(shù)據(jù)就如同圖書館的圖書目錄一樣漱竖，能夠幫助數(shù)據(jù)管理員管理數(shù)據(jù)。
• 示例4：元數(shù)據(jù)好比字典
  字典包含一個字的注音畜伐、含義馍惹、組詞、舉例等基本信息及其字體結構、相關引用万矾、出處等悼吱。另外，我們可以通過拼音或偏旁部首查到這個字良狈。所有這些信息都是對這個字的詳細描述后添，它們就是描述這個字的元數(shù)據(jù)。
• 示例5：元數(shù)據(jù)就像地圖
  地圖是按一定比例運用線條薪丁、符號遇西、顏色、文字注記等描繪顯示地球表面的自然地理严嗜、行政區(qū)域粱檀、社會經(jīng)濟狀況的圖。通過地圖漫玄，你能夠找到自己所處的地理位置茄蚯，了解你從哪里來，到哪里去睦优，途中要路過哪些地方渗常。元數(shù)據(jù)也具備這樣的特點，它能夠幫助企業(yè)了解自己有哪些數(shù)據(jù)汗盘，這些數(shù)據(jù)存放在哪里皱碘，數(shù)據(jù)的來源、去向及加工路徑等衡未。

元數(shù)據(jù)與數(shù)據(jù)的不同之處在于：元數(shù)據(jù)描述的不是特定的實例或記錄尸执，IT部門和業(yè)務部門都需要高質(zhì)量的元數(shù)據(jù)來理解現(xiàn)有數(shù)據(jù)；元數(shù)據(jù)是比一般意義上的數(shù)據(jù)范疇更加廣泛的數(shù)據(jù)缓醋，不僅表示數(shù)據(jù)的類型如失、名稱、值等信息送粱，還提供數(shù)據(jù)的上下文描述褪贵，比如數(shù)據(jù)的所屬業(yè)務域、取值范圍抗俄、數(shù)據(jù)間的關系脆丁、業(yè)務規(guī)則、數(shù)據(jù)來源等动雹。

可以用5W1H模型來理解元數(shù)據(jù)槽卫，如表16-1所示：

02 元數(shù)據(jù)的類型

按照不同應用領域或功能哆键，元數(shù)據(jù)一般大致可為三類：業(yè)務元數(shù)據(jù)掘托、技術元數(shù)據(jù)和操作元數(shù)據(jù)瘦锹。

1、業(yè)務元數(shù)據(jù)

業(yè)務元數(shù)據(jù)描述數(shù)據(jù)的業(yè)務含義闪盔、業(yè)務規(guī)則等弯院。通過明確業(yè)務元數(shù)據(jù)，讓人們更容易理解和使用業(yè)務元數(shù)據(jù)泪掀。元數(shù)據(jù)消除了數(shù)據(jù)二義性听绳，讓人們對數(shù)據(jù)有一致的認知，避免“自說自話”异赫，進而為數(shù)據(jù)分析和應用提供支撐椅挣。

常見的業(yè)務元數(shù)據(jù)有：

• 業(yè)務定義、業(yè)務術語解釋等塔拳；
• 業(yè)務指標名稱鼠证、計算口徑、衍生指標等靠抑；
• 業(yè)務規(guī)則引擎的規(guī)則量九、數(shù)據(jù)質(zhì)量檢測規(guī)則、數(shù)據(jù)挖掘算法等颂碧；
• 數(shù)據(jù)的安全或敏感級別等荠列。

2、技術元數(shù)據(jù)

技術元數(shù)據(jù)是對數(shù)據(jù)的結構化载城，方便計算機或數(shù)據(jù)庫對數(shù)據(jù)進行識別肌似、存儲、傳輸和交換诉瓦。技術元數(shù)據(jù)可以服務于開發(fā)人員川队，讓開發(fā)人員更加明確數(shù)據(jù)的存儲受楼、結構，從而為應用開發(fā)和系統(tǒng)集成奠定基礎呼寸。技術元數(shù)據(jù)也可服務于業(yè)務人員艳汽，通過元數(shù)據(jù)理清數(shù)據(jù)關系，讓業(yè)務人員更快速地找到想要的數(shù)據(jù)对雪，進而對數(shù)據(jù)的來源和去向進行分析河狐，支持數(shù)據(jù)血緣追溯和影響分析。
常見的技術元數(shù)據(jù)有：

• 物理數(shù)據(jù)庫表名稱瑟捣、列名稱馋艺、字段長度、字段類型迈套、約束信息捐祠、數(shù)據(jù)依賴關系等；
• 數(shù)據(jù)存儲類型桑李、位置踱蛀、數(shù)據(jù)存儲文件格式或數(shù)據(jù)壓縮類型等；
• 字段級血緣關系贵白、SQL腳本信息率拒、ETL抽取加載轉(zhuǎn)換信息、接口程序等禁荒；
• 調(diào)度依賴關系猬膨、進度和數(shù)據(jù)更新頻率等。

3呛伴、操作元數(shù)據(jù)

操作元數(shù)據(jù)描述數(shù)據(jù)的操作屬性勃痴，包括管理部門、管理責任人等热康。明確管理屬性有利于數(shù)據(jù)管理責任到部門和個人沛申，是數(shù)據(jù)安全管理的基礎。常見的操作元數(shù)據(jù)有：

• 數(shù)據(jù)所有者褐隆、使用者等污它；
• 數(shù)據(jù)的訪問方式、訪問時間庶弃、訪問限制等衫贬；
• 數(shù)據(jù)訪問權限、組和角色等歇攻；
• 數(shù)據(jù)處理作業(yè)的結果固惯、系統(tǒng)執(zhí)行日志等；
• 數(shù)據(jù)備份缴守、歸檔人葬毫、歸檔時間等镇辉。

03 元數(shù)據(jù)管理的目標

企業(yè)元數(shù)據(jù)管理的本質(zhì)是有效利用企業(yè)數(shù)據(jù)資產(chǎn)，讓數(shù)據(jù)發(fā)揮出盡可能大的價值贴捡。元數(shù)據(jù)管理可以幫助業(yè)務分析師忽肛、系統(tǒng)架構師、數(shù)據(jù)倉庫工程師和軟件開發(fā)工程師等相關干系人清楚地知道企業(yè)擁有什么數(shù)據(jù)烂斋，它們存儲在哪里屹逛，如何抽取、清理汛骂、維護這些數(shù)據(jù)并指導用戶使用罕模。以下元數(shù)據(jù)管理目標是企業(yè)的普遍訴求。

1帘瞭、建立指標解釋體系

滿足用戶對業(yè)務和數(shù)據(jù)理解的需求淑掌，建立標準的企業(yè)內(nèi)部知識傳承的信息承載平臺，建立業(yè)務分析知識庫蝶念，實現(xiàn)知識共享抛腕。能夠回答以下問題：

• 企業(yè)有哪些數(shù)據(jù)？
• 什么是企業(yè)有效客戶祸轮？有效客戶和客戶有何區(qū)別兽埃？
• 什么是產(chǎn)品的生命周期？
• 這個數(shù)據(jù)還叫什么名字适袜？
• 數(shù)據(jù)倉庫中的存儲過程是誰寫的？它用來干什么舷夺？現(xiàn)在還有在用嗎苦酱？

典型應用：數(shù)據(jù)資源目錄、業(yè)務術語表

2给猾、提高數(shù)據(jù)溯源能力

讓用戶能夠清晰地了解數(shù)據(jù)倉庫中數(shù)據(jù)流的來龍去脈疫萤、業(yè)務處理規(guī)則、轉(zhuǎn)換情況等敢伸，提高數(shù)據(jù)的溯源能力扯饶，支持數(shù)據(jù)倉庫的成長需求，降低因員工換崗造成的影響池颈。

3尾序、數(shù)據(jù)質(zhì)量稽核體系

通過非冗余、非重復的元數(shù)據(jù)信息提高數(shù)據(jù)完整性躯砰、準確性每币。元數(shù)據(jù)管理解決的問題是如何將業(yè)務系統(tǒng)中的數(shù)據(jù)分門別類地進行管理，建立報警琢歇、監(jiān)控機制兰怠，出現(xiàn)故障時能及時發(fā)現(xiàn)問題梦鉴，為數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量監(jiān)控提供基礎素材。

04 元數(shù)據(jù)管理的技術

從技術層面來看揭保，元數(shù)據(jù)管理的技術主要包括元數(shù)據(jù)采集肥橙、元數(shù)據(jù)管理、元數(shù)據(jù)應用和元數(shù)據(jù)接口等秸侣。

1快骗、元數(shù)據(jù)采集

在數(shù)據(jù)治理項目中，常見的元數(shù)據(jù)有數(shù)據(jù)源的元數(shù)據(jù)塔次、數(shù)據(jù)加工處理過程的元數(shù)據(jù)方篮、數(shù)據(jù)倉庫或數(shù)據(jù)主題庫的元數(shù)據(jù)、數(shù)據(jù)應用層的元數(shù)據(jù)励负、數(shù)據(jù)接口服務的元數(shù)據(jù)等傻挂。

元數(shù)據(jù)采集服務提供各類適配器來滿足以上各類元數(shù)據(jù)的采集需求副砍，并將元數(shù)據(jù)整合處理后統(tǒng)一存儲于中央元數(shù)據(jù)倉庫，實現(xiàn)元數(shù)據(jù)的統(tǒng)一管理。在這個過程中纵寝，數(shù)據(jù)采集適配器十分重要，元數(shù)據(jù)采集不僅要能夠適配各種數(shù)據(jù)庫爆捞、各類ETL曼验、各類數(shù)據(jù)倉庫和報表產(chǎn)品，還需要適配各類結構化或半結構化數(shù)據(jù)源翠忠。

（1）關系型數(shù)據(jù)庫

通過元數(shù)據(jù)適配器采集來自Oracle鞠苟、DB2、SQL Server秽之、MySQL当娱、Teradata、Sybase等關系型數(shù)據(jù)庫的庫表結構考榨、視圖跨细、存儲過程等元數(shù)據(jù)。關系型數(shù)據(jù)庫一般都提供了元數(shù)據(jù)的橋接器河质，例如Oracle的RDBMS冀惭，可實現(xiàn)元數(shù)據(jù)信息的快速讀取。

（2）NoSQL數(shù)據(jù)庫

元數(shù)據(jù)采集工具應支持來自MongoDB掀鹅、CouchDB散休、Redis、Neo4j淫半、HBase等NoSQL數(shù)據(jù)庫中的元數(shù)據(jù)溃槐，NoSQL數(shù)據(jù)庫適配器多半利用了自身管理和查詢Schema的能力。

（3）數(shù)據(jù)倉庫

對于主流的數(shù)據(jù)倉庫科吭，可以基于其內(nèi)在的查詢腳本昏滴，定制開發(fā)相應的適配器對其元數(shù)據(jù)進行采集猴鲫。例如MPP數(shù)據(jù)庫Greenplum，其核心元數(shù)據(jù)都存儲在pg_database谣殊、pg_namespace拂共、pg_class、pg_attribute姻几、pg_proc這幾張表中宜狐，通過SQL腳本就可以對其元數(shù)據(jù)進行采集。Hive表結構信息存儲在外部數(shù)據(jù)庫中蛇捌，同時Hive提供類似show table抚恒、describe table之類的語法對其元數(shù)據(jù)信息進行查詢。

當然络拌，也可以利用專業(yè)的元數(shù)據(jù)采集工具來采集數(shù)據(jù)倉庫系統(tǒng)的元數(shù)據(jù)俭驮。

（4）云中的元數(shù)據(jù)隨著公有云的日趨成熟，通過提供安全的云連接春贸，將云端企業(yè)元數(shù)據(jù)管理用作核心IT基礎架構的擴展混萝，尤其是在中小企業(yè)之間，已經(jīng)成為現(xiàn)實萍恕。云端企業(yè)元數(shù)據(jù)管理通過各種上下文改善信息訪問逸嘀，并將實時元數(shù)據(jù)管理、機器學習模型允粤、元數(shù)據(jù)API推進流數(shù)據(jù)管道崭倘，可以更好地管理企業(yè)數(shù)據(jù)資產(chǎn)。

（5）其他元數(shù)據(jù)適配器

• 建模工具：PowerDesigner维哈、ERwin绳姨、ER/Studio、EA等建模工具適配器阔挠。
• ETL工具：PowerCenter、DataStage脑蠕、Kettle等ETL工具適配器购撼。
• BI工具：Cognos、Power BI等前端工具中的二維報表元數(shù)據(jù)采集適配器谴仙。
• Excel適配器：采集Excel格式文件的元數(shù)據(jù)迂求。

當然，目前市場上的主流元數(shù)據(jù)產(chǎn)品中還沒有哪一個能做到“萬能適配”晃跺，在實際應用過程中都需要進行或多或少的定制化開發(fā)揩局。

2、元數(shù)據(jù)管理

從技術的角度看掀虎，元數(shù)據(jù)管理一般包括元模型管理凌盯、元數(shù)據(jù)審核付枫、元數(shù)據(jù)維護、元數(shù)據(jù)版本管理驰怎、元數(shù)據(jù)變更管理等功能阐滩。

（1）元模型管理

元模型管理即基于元數(shù)據(jù)平臺構建符合CWM規(guī)范的元數(shù)據(jù)倉庫，實現(xiàn)元模型統(tǒng)一县忌、集中化管理掂榔，提供元模型的查詢、增加症杏、修改装获、刪除、元數(shù)據(jù)關系管理穴豫、權限設置等功能，支持概念模型走芋、邏輯模型绩郎、物理模型的采集和管理，讓用戶直觀地了解已有元模型的分類翁逞、統(tǒng)計肋杖、使用情況、變更追溯挖函，以及每個元模型的生命周期管理状植。同時，支持應用開發(fā)的模型管理怨喘。

支持元模型的全生命周期管理津畸。元模型生命周期中有三個狀態(tài)，分別是：設計態(tài)必怜、測試態(tài)和生產(chǎn)態(tài)肉拓。

• 設計態(tài)的元數(shù)據(jù)模型，通常由ERWin梳庆、PowerDesigner的等設計工具產(chǎn)生暖途。
• 測試態(tài)的元數(shù)據(jù)模型，通常是關系型數(shù)據(jù)膏执，如Oracle驻售、DB2、MySQL更米、Teradata等欺栗；或非關系型數(shù)據(jù)庫，如MongoDB、HBase迟几、Hive消请、Hadoop等。
• 生產(chǎn)態(tài)的元數(shù)據(jù)模型瘤旨，本質(zhì)上與測試態(tài)元數(shù)據(jù)差異不大梯啤。

通過元數(shù)據(jù)平臺對應用開發(fā)三種狀態(tài)的統(tǒng)一管理和對比分析，能夠有效降低元數(shù)據(jù)變更帶來的風險存哲，為下游ODS因宇、DW的數(shù)據(jù)應用提供支撐。

（2）元數(shù)據(jù)審核

元數(shù)據(jù)審核主要是審核采集到元數(shù)據(jù)倉庫但還未正式發(fā)布到數(shù)據(jù)資源目錄中的元數(shù)據(jù)祟偷。審核過程中支持對數(shù)據(jù)進行有效性驗證并修復一些問題察滑，例如缺乏語義描述、缺少字段修肠、類型錯誤贺辰、編碼缺失或不可識別的字符編碼等。

（3）元數(shù)據(jù)維護

元數(shù)據(jù)維護就是對信息對象的基本信息嵌施、屬性饲化、被依賴關系、依賴關系吗伤、組合關系等元數(shù)據(jù)的新增吃靠、修改、刪除足淆、查詢巢块、發(fā)布等操作,支持根據(jù)元數(shù)據(jù)字典創(chuàng)建數(shù)據(jù)目錄，打印目錄結構巧号，根據(jù)目錄發(fā)現(xiàn)族奢、查找元數(shù)據(jù)，查看元數(shù)據(jù)的內(nèi)容丹鸿。元數(shù)據(jù)維護是最基本的元數(shù)據(jù)管理功能之一越走，技術人員和業(yè)務人員都會使用這個功能查看元數(shù)據(jù)的基本信息。

（4）元數(shù)據(jù)版本管理

在元數(shù)據(jù)處于一個相對完整靠欢、穩(wěn)定的時期弥姻，或者處于一個里程碑結束時期，可以對元數(shù)據(jù)定版以發(fā)布一個基線版本掺涛，以便日后對存異的或錯誤的元數(shù)據(jù)進行追溯、檢查和恢復疼进。

（5）元數(shù)據(jù)變更管理

用戶可以自行訂閱元數(shù)據(jù)薪缆，當訂閱的元數(shù)據(jù)發(fā)生變更時，系統(tǒng)將自動通知用戶，用戶可根據(jù)指引進一步在系統(tǒng)中查詢到變更的具體內(nèi)容及相關的影響分析拣帽。元數(shù)據(jù)管理平臺提供元數(shù)據(jù)監(jiān)控功能疼电，一旦監(jiān)控到元數(shù)據(jù)發(fā)生變更，就在第一時間通知用戶减拭。

3蔽豺、元數(shù)據(jù)應用

（1）數(shù)據(jù)資產(chǎn)地圖

按數(shù)據(jù)域?qū)ζ髽I(yè)數(shù)據(jù)資源進行全面盤點和分類，并根據(jù)元數(shù)據(jù)字典自動生成企業(yè)數(shù)據(jù)資產(chǎn)的全景地圖拧粪。該地圖可以告訴你有哪些數(shù)據(jù)修陡，在哪里可以找到這些數(shù)據(jù)，能用這些數(shù)據(jù)干什么可霎。數(shù)據(jù)資產(chǎn)地圖支持以拓撲圖的形式可視化展示各類元數(shù)據(jù)和數(shù)據(jù)處理過程魄鸦，通過不同層次的圖形展現(xiàn)粒度控制，滿足業(yè)務上不同應用場景的圖形查詢和輔助分析需要：

圖：數(shù)據(jù)資產(chǎn)地圖示例

（2）元數(shù)據(jù)血緣分析

元數(shù)據(jù)血緣分析會告訴你數(shù)據(jù)來自哪里癣朗，經(jīng)過了哪些加工拾因。其價值在于當發(fā)現(xiàn)數(shù)據(jù)問題時可以通過數(shù)據(jù)的血緣關系追根溯源，快速定位到問題數(shù)據(jù)的來源和加工過程旷余，減少數(shù)據(jù)問題排查分析的時間和難度绢记。

圖：元數(shù)據(jù)血緣分析示例

（3）元數(shù)據(jù)影響分析

元數(shù)據(jù)影響分析會告訴你數(shù)據(jù)去了哪里，經(jīng)過了哪些加工正卧。其價值在于當發(fā)現(xiàn)數(shù)據(jù)問題時可以通過數(shù)據(jù)的關聯(lián)關系向下追蹤蠢熄，快速找到有哪些應用或數(shù)據(jù)庫使用了這個數(shù)據(jù)，從而最大限度地減小數(shù)據(jù)問題帶來的影響穗酥。這個功能常用于數(shù)據(jù)源的元數(shù)據(jù)變更對下游ETL护赊、ODS、DW等應用的影響分析砾跃。血緣分析是向上追溯骏啰，影響分析是向下追蹤，這是這兩個功能的區(qū)別抽高。

（4）元數(shù)據(jù)冷熱度分析

元數(shù)據(jù)冷熱度分析會告訴你哪些數(shù)據(jù)是企業(yè)常用數(shù)據(jù)判耕，哪些數(shù)據(jù)屬于僵死數(shù)據(jù)。其價值在于讓數(shù)據(jù)活躍程度可視化翘骂，讓企業(yè)中的業(yè)務人員壁熄、管理人員都能夠清晰地看到數(shù)據(jù)的活躍程度，以便他們更好地駕馭數(shù)據(jù)碳竟，處置或激活僵死數(shù)據(jù)草丧，從而為數(shù)據(jù)的自助式分析提供支撐。

（5）元數(shù)據(jù)關聯(lián)度分析

元數(shù)據(jù)關聯(lián)度分析會告訴你數(shù)據(jù)與其他數(shù)據(jù)的關系莹桅，以及它們的關系是怎樣建立的昌执。關聯(lián)度分析是從某一實體關聯(lián)的其他實體及其參與的處理過程兩個角度來查看具體數(shù)據(jù)的使用情況，形成一張實體和所參與處理過程的網(wǎng)絡，如表與ETL程序懂拾、表與分析應用煤禽、表與其他表的關聯(lián)情況等，從而進一步了解該實體的重要程度岖赋。

4檬果、元數(shù)據(jù)接口

建立元數(shù)據(jù)查詢、訪問的統(tǒng)一接口規(guī)范唐断，以將企業(yè)核心元數(shù)據(jù)完整选脊、準確地提取到元數(shù)據(jù)倉庫中進行集中管理和統(tǒng)一共享。

元數(shù)據(jù)接口規(guī)范主要包括接口的編碼方式栗涂、接口響應知牌、接口協(xié)議、接口安全斤程、連接方式角寸、技術實現(xiàn)、調(diào)用方式忿墅、報文格式等方面的內(nèi)容扁藕。

• 接口編碼方式：接口編碼方式必須在接口的頭信息中注明，常用的接口編碼方式有UTF-8疚脐、GBK亿柑、GB2312、ISO-8859-1棍弄。
• 接口響應格式：元數(shù)據(jù)接口常用的報文格式望薄，XML或JSON
• 接口協(xié)議：REST/SOAP協(xié)議
• 連接方式：POST
• 接口安全：Token身份認證
• 接口地址：http://url/service?[query]

寫在最后的話

數(shù)據(jù)已經(jīng)成為增強企業(yè)競爭力的核心要素，有效地管理和使用數(shù)據(jù)成為企業(yè)的剛需呼畸。越來越多的企業(yè)使用元數(shù)據(jù)管理工具來管理云計算痕支、物聯(lián)網(wǎng)、數(shù)據(jù)湖中所產(chǎn)生的數(shù)據(jù)蛮原，以便更容易地理解卧须、更快地查找和更有效地管理企業(yè)數(shù)據(jù)，以實現(xiàn)數(shù)據(jù)的價值儒陨。