1.問題：upsert-kafka結合hudi使用，第一次數據讀取回測流不準確验夯； hudi版本：采用hudi新版本0.11.0-rc3版本； 數據路徑：upsert-kafk...
發(fā)簡信
IP屬地：北京
-
upsert-kafka結合hudi使用，第一次數據讀取回測流不準確 -
Flink Hudi 源碼之HoodieTableSink
Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄[http://www.reibang.com/p/d4a372809e3d] 源代碼分支 rele...
-
hudi做ETL大數據量情況下聚合數據不正確問題分享1.問題：17W明細數據批量導入hudi,經過路徑mysql->hudi ods表->hudi dws表->mysql 的運算后，發(fā)現(xiàn)sink到mysql表的聚合結果有誤，詳...
-
3.數據中臺-規(guī)范化建設-數據定義規(guī)范
《數據定義規(guī)范》 上節(jié)我們深入分析了痛點產生的原因搪缨，并規(guī)劃了階段式的整體解決方案，主要是：從管理組織規(guī)范->數據定義規(guī)范->建模規(guī)范->研發(fā)規(guī)范->規(guī)范化推進 分步驟有序...
-
2.數據中臺-規(guī)范化建設-整體方案
《整體方案》 我們回顧上個章節(jié)所闡述的痛點鸵熟，提煉下來副编，主要是：數據不統(tǒng)一，數據重復建設旅赢，數據定位困難齿桃，深入分析原因惑惶，可歸納為如下幾點： 1.管理上無專門數據組來承載數據資產...