大數(shù)據(jù)數(shù)據(jù)血緣是什么戒财,跟數(shù)據(jù)質(zhì)量有什么關(guān)系热监? - 大數(shù)據(jù) - 知乎 https://www.zhihu.com/question/31613021
以及數(shù)據(jù)地圖 這三者之間的關(guān)系是什么?
數(shù)據(jù)血緣指的數(shù)據(jù)產(chǎn)生的鏈路饮寞,比如下面的語句就建立起了a和b血緣孝扛,往更細(xì)的說,也可以建立字段間的血緣幽崩。
select udf(i) as k,j from a insert overwrite b
在這條產(chǎn)出鏈上 a.i 的產(chǎn)出質(zhì)量會影響 b.k 苦始,從血緣上就可以分析出來。
至于數(shù)據(jù)地圖慌申,就是這些揉到一起做個(gè)產(chǎn)品應(yīng)該就叫數(shù)據(jù)地圖吧陌选。我的理解是這樣的。
血緣
一般是講數(shù)據(jù)生產(chǎn)的路徑蹄溉,比如通過數(shù)據(jù)A數(shù)據(jù)B產(chǎn)生了數(shù)據(jù)C咨油,那么C的父血緣就是A和B,反之亦然柒爵。
質(zhì)量
一般是為數(shù)據(jù)配置了一系列的質(zhì)量檢查規(guī)則役电,比如非空檢查,唯一檢查等等棉胀!檢查結(jié)婚即是質(zhì)量法瑟。
地圖
一般是集中的元數(shù)據(jù)管理系統(tǒng),可以在這里搜索數(shù)據(jù)(結(jié)構(gòu)定義)
元數(shù)據(jù)管理中的血統(tǒng)分析和影響分析功能是如何實(shí)現(xiàn)的唁奢? - 開源中國社區(qū) http://www.oschina.net/question/125782_58813
etl任務(wù)等的sql解析或者任務(wù)依賴關(guān)系分析霎挟,獲取到表與表,或者到字段層次的關(guān)聯(lián)驮瞧。