數(shù)據(jù)倉庫DW - 專題

投稿

收錄了14篇文章 · 183人關(guān)注

數(shù)據(jù)倉庫知識體系
現(xiàn)在所謂的大數(shù)據(jù)鸯匹，AI，之類其實都不是什么新鮮事物，只不過現(xiàn)在的人太能喊口號。這些無非是操作大量數(shù)據(jù)，或者在大量數(shù)據(jù)基礎(chǔ)上構(gòu)建的應(yīng)用。說白了忿薇，數(shù)...

0.1 迷之老王 15 4
數(shù)倉數(shù)據(jù)質(zhì)量檢查
數(shù)據(jù)倉庫上下游表間數(shù)據(jù)質(zhì)量檢查產(chǎn)生于下游表生成過程中，也是下游表本身的數(shù)據(jù)質(zhì)量控制問題躏哩，上下游的關(guān)系并不僅限于數(shù)據(jù)倉庫各層數(shù)據(jù)表署浩，還包括同一層的...

0.3 王吉吉real 0 7

SAP BW4HANA和傳統(tǒng)BW的區(qū)別
主要的區(qū)別在于數(shù)據(jù)建模，體現(xiàn)在兩點： 1. 信息對象 BW4HANA信息對象更少震庭，但是更靈活瑰抵。傳統(tǒng)的BW受限于硬件的處理能力，為了保證數(shù)據(jù)處理...

鍋巴俠 1 2
數(shù)倉分層模型|簡練實用（推薦收藏）
通過閱讀本文器联，可以讓你快速了解數(shù)倉如何分層二汛，合理，實用拨拓。筆者堅持原創(chuàng)肴颊，根據(jù)實踐總結(jié)，希望對新手有所幫助渣磷。分層案例 1.電信通訊stage層 -...

1.7 不務(wù)正業(yè)的coder 5 68 1
Data Integration (kettle) 7.0 連接Hive
背景最近需要將mysql的數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入到hive里婿着，期間遇到了很多坑，這次來總結(jié)一下醋界。步驟 1.啟動hiveServer2 kettle...

data_haozi 3 3
使用kettle 定時同步csv文件數(shù)據(jù)到數(shù)據(jù)庫表
背景最近由Java工程師轉(zhuǎn)崗為ETL數(shù)據(jù)工程師竟宋，雖然以前也有為數(shù)據(jù)集成的項目儲備過kettle相關(guān)的知識，但是一直沒有在生產(chǎn)環(huán)境中實際使用過k...

0.4 data_haozi 0 8
kettle 將mysql 導(dǎo)入到hive（借助Hadoop File Output組件）
背景在使用kettle 的表輸出組件的時候形纺，因為服務(wù)器hive版本為0.13,不支持insert into values的語法（hive 的0...

data_haozi 2 3

在數(shù)據(jù)倉庫中如何做分區(qū)表
為什么做分區(qū) 分區(qū)表將數(shù)據(jù)組織成分區(qū)丘侠，主要可以提高數(shù)據(jù)的查詢速度。如果把一年或者一個月的日志文件存放在一個表下逐样，那么數(shù)據(jù)量會非常的大蜗字，當(dāng)查詢這...

FxData 0 0
在數(shù)據(jù)倉庫中如何做分桶
為什么分桶（1）獲得更高的查詢處理效率打肝。桶為表加上了額外的結(jié)構(gòu)，Hive在處理有些查詢時能利用這個結(jié)構(gòu)挪捕。具體而言粗梭，連接兩個在（包含連接列的）相...

0.1 FxData 0 1
數(shù)據(jù)倉庫中如何做增量處理
為什么做增量數(shù)據(jù)量大，只需要增量最新被更改的數(shù)據(jù)级零。如何做增量（1）insert into比如行為數(shù)據(jù)断医，發(fā)生一條記錄就插入一條，數(shù)據(jù)不會被upd...

0.1 FxData 0 5