IP屬地：浙江
-
元數(shù)據(jù)系統(tǒng)的產(chǎn)品形態(tài)
上一篇 給初心者的數(shù)據(jù)倉庫元數(shù)據(jù)系統(tǒng)開發(fā)指南 主要是描述了元數(shù)據(jù)的基本概念和典型需求。實(shí)際的開發(fā)和使用中目派，還有個(gè)基本問題容易被混淆橱赠，關(guān)于元數(shù)據(jù)的...
-
給初心者的數(shù)據(jù)倉庫元數(shù)據(jù)系統(tǒng)開發(fā)指南加過一些數(shù)據(jù)開發(fā)的社群，經(jīng)常會(huì)有人問元數(shù)據(jù)系統(tǒng)怎么開發(fā)吧寺，大概網(wǎng)上很難搜到相關(guān)的好文章。 什么是元數(shù)據(jù) 首先，元數(shù)據(jù)的概念辩撑，通常解釋為數(shù)據(jù)的數(shù)據(jù)，...
-
掌控?cái)?shù)據(jù)倉庫開發(fā)的主動(dòng)權(quán)
今天團(tuán)隊(duì)在討論過去一段時(shí)間的問題则吟，有提到這么一個(gè)觀點(diǎn)：作為數(shù)據(jù)倉庫工程師槐臀，被動(dòng)接了很多需求，數(shù)據(jù)的業(yè)務(wù)價(jià)值不明顯氓仲。 互聯(lián)網(wǎng)公司的業(yè)務(wù)變化快水慨，經(jīng)常...
-
數(shù)據(jù)倉庫的持續(xù)集成
都說互聯(lián)網(wǎng)公司快，在大數(shù)據(jù)開發(fā)領(lǐng)域也是如此敬扛，數(shù)據(jù)倉庫的各ETL任務(wù)每天都有更新晰洒，而源頭的數(shù)據(jù)也是在不斷變化，需要保證快速更變的同時(shí)啥箭，保證系統(tǒng)穩(wěn)定...
-
Hive表結(jié)構(gòu)實(shí)時(shí)同步到元數(shù)據(jù)系統(tǒng)
數(shù)據(jù)倉庫的元數(shù)據(jù)系統(tǒng)需要實(shí)時(shí)獲取最新的Hive表結(jié)構(gòu)谍珊，比如用戶新建了一張表或新加一個(gè)字段，希望能馬上在元數(shù)據(jù)系統(tǒng)里查詢到急侥。 實(shí)時(shí)獲取數(shù)據(jù)砌滞，無非是...
-
Hive表數(shù)據(jù)質(zhì)量校驗(yàn)的設(shè)計(jì)與開發(fā)
一張Hive計(jì)算完成后侮邀，開發(fā)者會(huì)希望知道計(jì)算結(jié)果是否符合預(yù)期，比如是否有臟數(shù)據(jù)贝润，是否數(shù)據(jù)量符合預(yù)期绊茧。這里就有兩個(gè)問題，一個(gè)是校驗(yàn)什么打掘，另一個(gè)是怎...
-
失信人抓取實(shí)踐失信人华畏，也就是俗稱的老賴，會(huì)認(rèn)為是高風(fēng)險(xiǎn)或者低信用的用戶尊蚁，在很多業(yè)務(wù)場景下需要做好監(jiān)控或行為限制亡笑。比如失信人賣貨，捐款跑路的風(fēng)險(xiǎn)比普通人高横朋，又比...
-
數(shù)據(jù)倉庫敏感字段自動(dòng)識別
敏感字段標(biāo)注問題 數(shù)據(jù)倉庫里仑乌，多多少少會(huì)有一些敏感字段，比如用戶手機(jī)號琴锭、通信地址绝骚，一旦泄露危害很大。而數(shù)據(jù)倉庫需要盡可能方便讓用戶使用祠够，同時(shí)又要...