IP屬地：浙江
-
元數據系統(tǒng)的產品形態(tài)
上一篇 給初心者的數據倉庫元數據系統(tǒng)開發(fā)指南 主要是描述了元數據的基本概念和典型需求吱抚。實際的開發(fā)和使用中够掠，還有個基本問題容易被混淆色难，關于元數據的...
-
給初心者的數據倉庫元數據系統(tǒng)開發(fā)指南加過一些數據開發(fā)的社群，經常會有人問元數據系統(tǒng)怎么開發(fā)贞绵，大概網上很難搜到相關的好文章。 什么是元數據 首先，元數據的概念橘券，通常解釋為數據的數據，...
-
掌控數據倉庫開發(fā)的主動權
今天團隊在討論過去一段時間的問題卿吐，有提到這么一個觀點：作為數據倉庫工程師旁舰，被動接了很多需求，數據的業(yè)務價值不明顯嗡官。 互聯網公司的業(yè)務變化快箭窜，經常...
-
數據倉庫的持續(xù)集成
都說互聯網公司快，在大數據開發(fā)領域也是如此衍腥，數據倉庫的各ETL任務每天都有更新磺樱，而源頭的數據也是在不斷變化，需要保證快速更變的同時婆咸，保證系統(tǒng)穩(wěn)定...
-
Hive表結構實時同步到元數據系統(tǒng)
數據倉庫的元數據系統(tǒng)需要實時獲取最新的Hive表結構竹捉，比如用戶新建了一張表或新加一個字段，希望能馬上在元數據系統(tǒng)里查詢到尚骄。 實時獲取數據活孩，無非是...
-
Hive表數據質量校驗的設計與開發(fā)
一張Hive計算完成后，開發(fā)者會希望知道計算結果是否符合預期乖仇，比如是否有臟數據憾儒，是否數據量符合預期。這里就有兩個問題乃沙，一個是校驗什么起趾，另一個是怎...
-
失信人抓取實踐失信人，也就是俗稱的老賴警儒，會認為是高風險或者低信用的用戶训裆，在很多業(yè)務場景下需要做好監(jiān)控或行為限制。比如失信人賣貨蜀铲，捐款跑路的風險比普通人高边琉，又比...
-
數據倉庫敏感字段自動識別
敏感字段標注問題 數據倉庫里，多多少少會有一些敏感字段记劝，比如用戶手機號变姨、通信地址，一旦泄露危害很大厌丑。而數據倉庫需要盡可能方便讓用戶使用定欧，同時又要...