背景 spark streaming 任務(wù)執(zhí)行過(guò)程中搁胆，driver總是不明原因掛掉间护，沒(méi)有任何錯(cuò)誤日志二汛。 原因 出現(xiàn)此種情況基本上都是以下幾種原因...

背景 spark streaming 任務(wù)陌兑，任務(wù)持續(xù)運(yùn)行會(huì)產(chǎn)生大量的日志，查看起來(lái)非常麻煩躯枢，而且非常浪費(fèi)時(shí)間孵奶。 方案 主要針對(duì)log4j.pro...

源碼閱讀（數(shù)據(jù)寫入） 源碼閱讀（數(shù)據(jù)清理） 關(guān)于大數(shù)據(jù)方面技術(shù)問(wèn)題可以咨詢，替你解決你的苦惱北秽。參考WX：hainanzhongjian

jvm內(nèi)存模型 堆內(nèi)存on-heap: 堆外內(nèi)存（非堆）(off-heap)葡幸，默認(rèn)為堆*0.1直接內(nèi)存：jvm外內(nèi)存（native內(nèi)存）Dire...

表類型 寫時(shí)復(fù)制（Copy On Write）：僅使用列式文件格式（parquet，基本文件）存儲(chǔ)數(shù)據(jù)贺氓。通過(guò)在寫入過(guò)程中執(zhí)行同步合并蔚叨，僅更新版本...

查詢 Hudi 數(shù)據(jù)集 從概念上講，Hudi物理存儲(chǔ)一次數(shù)據(jù)到DFS上辙培，同時(shí)在其上提供三種查詢類型蔑水，如之前所述。 數(shù)據(jù)集同步到Hive Meta...

背景 spark向集群1中的yarn提交任務(wù)搀别，任務(wù)運(yùn)行在集群1的yarn容器中。數(shù)據(jù)寫入集群2的hdfs尾抑。集群1與集群2開通kerberos互信...

背景 使用idea調(diào)試spark + hive sql 程序時(shí)候歇父，經(jīng)常會(huì)碰到這個(gè)問(wèn)題蒂培，比較難以解決。顧此處我總結(jié)了一下常見的解決方案榜苫。 異常 代...

背景 目前flink讀寫hive表一直是一個(gè)比較麻煩的事情毁渗。雖然flink1.10版本更新了hive table api，生產(chǎn)環(huán)境中可以使用单刁。但...