240 發(fā)簡信
IP屬地：浙江
  • 元數(shù)據(jù)系統(tǒng)的產(chǎn)品形態(tài)

    上一篇 給初心者的數(shù)據(jù)倉庫元數(shù)據(jù)系統(tǒng)開發(fā)指南 主要是描述了元數(shù)據(jù)的基本概念和典型需求。實際的開發(fā)和使用中售躁，還有個基本問題容易被混淆正塌，關(guān)于元數(shù)據(jù)的產(chǎn)品形態(tài)。 元數(shù)據(jù)門戶 這是最...

  • 120
    給初心者的數(shù)據(jù)倉庫元數(shù)據(jù)系統(tǒng)開發(fā)指南

    加過一些數(shù)據(jù)開發(fā)的社群呛每，經(jīng)常會有人問元數(shù)據(jù)系統(tǒng)怎么開發(fā)踩窖，大概網(wǎng)上很難搜到相關(guān)的好文章。 什么是元數(shù)據(jù) 首先晨横，元數(shù)據(jù)的概念洋腮，通常解釋為數(shù)據(jù)的數(shù)據(jù)箫柳，這個太難看懂了，需要換個角度解...

  • 掌控數(shù)據(jù)倉庫開發(fā)的主動權(quán)

    今天團隊在討論過去一段時間的問題啥供，有提到這么一個觀點：作為數(shù)據(jù)倉庫工程師悯恍，被動接了很多需求，數(shù)據(jù)的業(yè)務價值不明顯伙狐。 互聯(lián)網(wǎng)公司的業(yè)務變化快涮毫，經(jīng)常會有產(chǎn)品上線或舊業(yè)務變更，這是...

  • 如果是orc格式贷屎，用presto執(zhí)行這些簡單查詢罢防，其實就是讀取文件的元數(shù)據(jù)。如果直接基于orc或parquet元數(shù)據(jù)唉侄，實現(xiàn)成本還是有點高的

    Hive表數(shù)據(jù)質(zhì)量校驗的設計與開發(fā)

    一張Hive計算完成后咒吐，開發(fā)者會希望知道計算結(jié)果是否符合預期，比如是否有臟數(shù)據(jù)属划，是否數(shù)據(jù)量符合預期渤滞。這里就有兩個問題，一個是校驗什么榴嗅，另一個是怎么校驗妄呕。 校驗什么 單個字段校...

  • 數(shù)據(jù)倉庫的持續(xù)集成

    都說互聯(lián)網(wǎng)公司快，在大數(shù)據(jù)開發(fā)領(lǐng)域也是如此嗽测，數(shù)據(jù)倉庫的各ETL任務每天都有更新绪励，而源頭的數(shù)據(jù)也是在不斷變化，需要保證快速更變的同時唠粥，保證系統(tǒng)穩(wěn)定疏魏。 上一篇 Hive表數(shù)據(jù)質(zhì)量...

  • Hive表結(jié)構(gòu)實時同步到元數(shù)據(jù)系統(tǒng)

    數(shù)據(jù)倉庫的元數(shù)據(jù)系統(tǒng)需要實時獲取最新的Hive表結(jié)構(gòu)，比如用戶新建了一張表或新加一個字段晤愧，希望能馬上在元數(shù)據(jù)系統(tǒng)里查詢到大莫。 實時獲取數(shù)據(jù)，無非是Push或Pull兩種模式官份≈焕澹考...

  • Hive表數(shù)據(jù)質(zhì)量校驗的設計與開發(fā)

    一張Hive計算完成后，開發(fā)者會希望知道計算結(jié)果是否符合預期舅巷，比如是否有臟數(shù)據(jù)羔味，是否數(shù)據(jù)量符合預期。這里就有兩個問題钠右，一個是校驗什么赋元，另一個是怎么校驗。 校驗什么 單個字段校...

  • 120
    失信人抓取實踐

    失信人，也就是俗稱的老賴搁凸，會認為是高風險或者低信用的用戶媚值，在很多業(yè)務場景下需要做好監(jiān)控或行為限制。比如失信人賣貨护糖，捐款跑路的風險比普通人高杂腰，又比如失信人分期付款，可以懷疑不能...

  • 數(shù)據(jù)倉庫敏感字段自動識別

    敏感字段標注問題 數(shù)據(jù)倉庫里椅文，多多少少會有一些敏感字段喂很，比如用戶手機號、通信地址皆刺，一旦泄露危害很大少辣。而數(shù)據(jù)倉庫需要盡可能方便讓用戶使用，同時又要保護敏感字段不能隨意訪問羡蛾，一方...

亚洲A日韩AV无卡,小受高潮白浆痉挛av免费观看,成人AV无码久久久久不卡网站,国产AV日韩精品