發(fā)簡信
IP屬地：北京
-
upsert-kafka結(jié)合hudi使用颂郎，第一次數(shù)據(jù)讀取回測流不準確1.問題：upsert-kafka結(jié)合hudi使用撵溃，第一次數(shù)據(jù)讀取回測流不準確着倾； hudi版本：采用hudi新版本0.11.0-rc3版本仗谆； 數(shù)...
-
hudi做ETL大數(shù)據(jù)量情況下聚合數(shù)據(jù)不正確問題分享1.問題：17W明細數(shù)據(jù)批量導入hudi,經(jīng)過路徑mysql->hudi ods表->hudi dws表->mysql 的運算后圣絮，發(fā)現(xiàn)sink到...
-
3.數(shù)據(jù)中臺-規(guī)范化建設(shè)-數(shù)據(jù)定義規(guī)范
《數(shù)據(jù)定義規(guī)范》 上節(jié)我們深入分析了痛點產(chǎn)生的原因似炎，并規(guī)劃了階段式的整體解決方案犬缨，主要是：從管理組織規(guī)范->數(shù)據(jù)定義規(guī)范->建模規(guī)范->研發(fā)...
-
2.數(shù)據(jù)中臺-規(guī)范化建設(shè)-整體方案
《整體方案》 我們回顧上個章節(jié)所闡述的痛點扯饶，提煉下來恒削，主要是：數(shù)據(jù)不統(tǒng)一池颈，數(shù)據(jù)重復建設(shè)，數(shù)據(jù)定位困難钓丰，深入分析原因躯砰，可歸納為如下幾點： 1.管...
-
1.數(shù)據(jù)中臺-開篇
Hi大家好，我是大樊携丁，一枚熱愛數(shù)據(jù)的琢歇，具有8年開發(fā)經(jīng)驗的程序猿，目前就職于一家中型互聯(lián)網(wǎng)公司梦鉴，主要負責部門內(nèi)的數(shù)據(jù)倉庫建設(shè)李茫，歷經(jīng)多年時間，從0...