1. hudi寫完文件后同步hive元數(shù)據(jù)報錯: sql直接在mysql的hive庫執(zhí)行是正常的 2. 把hive服務日志導出泡态,發(fā)現(xiàn)如下錯誤 原因:查看mysql所在的物理機...

1. hudi寫完文件后同步hive元數(shù)據(jù)報錯: sql直接在mysql的hive庫執(zhí)行是正常的 2. 把hive服務日志導出泡态,發(fā)現(xiàn)如下錯誤 原因:查看mysql所在的物理機...
1. Kubectl添加自動補全 2. 如果執(zhí)行命令遇到報錯 解決方法:vim ~/.zshrc or vim ~/.bash_profile璧瞬,添加以下內(nèi)容 3.k8s入門...
spark 任務寫hudi error簸喂,但是異常沒有拋出吗伤。 降低driver log日志為TRACE級別珠移,可以看到如下報錯 原因:最后排查原因為dataframe中茁裙,數(shù)組類型...
ignite 服務重啟塘砸,查看錯誤日志: 直接內(nèi)存是一種在堆外分配的內(nèi)存,它不受Java堆大小的限制晤锥。MaxDirectMemorySize參數(shù)可以通過在啟動JVM時使用以下命...
使用spark查詢mysql的my_table表中掉蔬,status字段的值為"active"的數(shù)據(jù) 第一次查詢: 結(jié)果:可以查詢到表中的數(shù)據(jù) 分析:where條件的過濾計算廊宪,會...
spark 3.2.3hudi 0.11.0 spark 寫hudi,commit失敗女轿。.hoodie目錄下箭启,有commit.request和inflight,沒有commi...
生產(chǎn)環(huán)境蛉迹,沒有進行升級或修改配置傅寡,卻突然出現(xiàn)某些pod服務無法訪問hdfs的情況。拋出異常 unknownHostException 最終解決方法:重啟 k8s coreDn...
重啟ignite后北救,遇到報錯: Caused by: java.sql.SQLException: Failed to update some keys because th...
升級spark3遇到的問題 https://github.com/cjuexuan/mynote/issues/73[https://github.com/cjuexuan/...
spark 讀取mysql 自增id荐操,用getAsLong()方法解析報錯 原因:mysql中id字段的類型為 unsigned bigint ,而不是 bigint 1. ...
場景:線上運行報錯珍策,本地無法復線托启,需要臨時打開debug或trace級別日志,抓取錯誤信息要求:只修改啟動命令攘宙,不重新編譯打包 1.準備log4j.properties配置文...
問題: spark driver 或者 executor pod頻繁被k8s kill屯耸。被kill前,查看spark ui蹭劈,發(fā)現(xiàn)driver或者executor的gc根本不嚴...
ignite經(jīng)常每隔數(shù)小時就掛掉肩民,手動重啟也經(jīng)常出現(xiàn)無法啟動成功 初步判斷,ignite中數(shù)據(jù)量暴增后出現(xiàn)網(wǎng)絡問題链方,增加超時時間 在ignite的配置文件中,在IgniteC...
presto 每隔一段時間就不可用灶搜,出現(xiàn) activeWorkers=0: 原因分析:應該是adhoc_etl隊列的多個離線任務的大查詢并行執(zhí)行祟蚀,worker負載高,頻繁gc...
重啟presto后割卖,發(fā)現(xiàn)sql查詢失敗前酿,但是active worker數(shù)正常 pod log信息 原因分析:1.查看presto- 4和presto-5的日志,發(fā)現(xiàn)他們一直都...
1. hudi清理策略 代碼位置 1.1 策略一:KEEP_LATEST_FILE_VERSIONS 相關參數(shù):hoodie.cleaner.fileversions.ret...
hudi 0.8版本鹏溯,在特殊條件下出現(xiàn)此問題 發(fā)生條件:1.由于hdfs磁盤滿罢维,但是spark任務仍在寫hudi表。hudi表寫失敗后丙挽,會在.hoodie下寫一個rollba...
工作中肺孵,經(jīng)常會給kafka配置以下參數(shù): session.timeout.ms: 檢查整個消費者死亡超時時間 heartbeat.interval.ms: 心跳檢查超時時間...
概述:shell變量的作用域,就是shell變量的有效范圍颜阐,在不同的作用域中平窘,同名的變量不會相互干涉,就比如:A班級中有個叫小明的同學凳怨,B班級中也有一個叫小明的同學瑰艘,由于他們...
hudi 0.8是鬼,使用insert_overwrite_table模式覆寫hudi表。之前寫入正常紫新,但hive由1.x升級到2.7.2后均蜜,報下面的錯誤:Unable to a...