背景 spark streaming 任務(wù)執(zhí)行過程中歪沃，driver總是不明原因掛掉，沒有任何錯誤日志嗅钻。 原因 出現(xiàn)此種情況基本上都是以下幾種原因...

背景 spark streaming 任務(wù)扭勉，任務(wù)持續(xù)運行會產(chǎn)生大量的日志鹊奖，查看起來非常麻煩，而且非常浪費時間剖效。 方案 主要針對log4j.pro...

源碼閱讀（數(shù)據(jù)寫入） 源碼閱讀（數(shù)據(jù)清理） 關(guān)于大數(shù)據(jù)方面技術(shù)問題可以咨詢嫉入，替你解決你的苦惱。參考WX：hainanzhongjian

jvm內(nèi)存模型 堆內(nèi)存on-heap: 堆外內(nèi)存（非堆）(off-heap)璧尸，默認(rèn)為堆*0.1直接內(nèi)存：jvm外內(nèi)存（native內(nèi)存）Dire...

表類型 寫時復(fù)制（Copy On Write）：僅使用列式文件格式（parquet咒林，基本文件）存儲數(shù)據(jù)。通過在寫入過程中執(zhí)行同步合并爷光，僅更新版本...

查詢 Hudi 數(shù)據(jù)集 從概念上講垫竞，Hudi物理存儲一次數(shù)據(jù)到DFS上，同時在其上提供三種查詢類型，如之前所述欢瞪。 數(shù)據(jù)集同步到Hive Meta...

背景 spark向集群1中的yarn提交任務(wù)，任務(wù)運行在集群1的yarn容器中遣鼓。數(shù)據(jù)寫入集群2的hdfs啸盏。集群1與集群2開通kerberos互信...

背景 使用idea調(diào)試spark + hive sql 程序時候，經(jīng)常會碰到這個問題骑祟，比較難以解決回懦。顧此處我總結(jié)了一下常見的解決方案。 異常 代...

背景 目前flink讀寫hive表一直是一個比較麻煩的事情次企。雖然flink1.10版本更新了hive table api怯晕，生產(chǎn)環(huán)境中可以使用。但...