SchemaCompatibilityException: Unable to validate the rewritten record

spark 3.2.3
hudi 0.11.0

spark 寫hudi钓瞭,commit失敗。.hoodie目錄下,有commit.request和inflight翅敌,沒有commit文件

-rw-r--r--@ 1 lqq  staff  1572  5 23 09:54 20230512145004274.rollback
-rw-r--r--@ 1 lqq  staff     0  5 23 09:54 20230512145004274.rollback.inflight
-rw-r--r--@ 1 lqq  staff  1384  5 23 09:54 20230512145004274.rollback.requested
-rw-r--r--@ 1 lqq  staff     0  5 23 09:54 20230522173618331.commit.requested
-rw-r--r--@ 1 lqq  staff  3123  5 23 09:54 20230522173618331.inflight

查看log,發(fā)現(xiàn)有錯誤日志惕蹄,但是沒有打印具體的錯誤信息

 ERROR HoodieSparkSqlWriter$: UPSERT failed with errors

繼續(xù)查看源碼查蚯涮,發(fā)現(xiàn)打印具體錯誤日志為TRACE級別

  private def commitAndPerformPostOperations(spark: SparkSession,
                                             schema: StructType,
                                             writeResult: HoodieWriteResult,
                                             parameters: Map[String, String],
                                             client: SparkRDDWriteClient[HoodieRecordPayload[Nothing]],
                                             tableConfig: HoodieTableConfig,
                                             jsc: JavaSparkContext,
                                             tableInstantInfo: TableInstantInfo
                                            ): (Boolean, common.util.Option[java.lang.String], common.util.Option[java.lang.String]) = {

23/05/25 11:57:45 TRACE HoodieSparkSqlWriter$: Printing out the top 100 errors
........
    } else {
      log.error(s"${tableInstantInfo.operation} failed with errors")
      if (log.isTraceEnabled) {
        log.trace("Printing out the top 100 errors")
        writeResult.getWriteStatuses.rdd.filter(ws => ws.hasErrors)
          .take(100)
          .foreach(ws => {
            log.trace("Global error :", ws.getGlobalError)
            if (ws.getErrors.size() > 0) {
              ws.getErrors.foreach(kt =>
                log.trace(s"Error for key: ${kt._1}", kt._2))
            }
          })
      }
      (false, common.util.Option.empty(), common.util.Option.empty())
    }

降低日志級別(參考http://www.reibang.com/u/c2bc3695bc47),重跑程序卖陵,打印出了具體的錯誤日志

org.apache.hudi.exception.SchemaCompatibilityException: Unable to validate the rewritten record {"gender": "male",  "id": 708075384135690,  "count": null} against schema {{"name":"id","type":["null","long"],{"name":"gender","type":["null","string"],"default":null},{"name":"count","type":["null","int"],"default":null}}

原因: schema不兼容遭顶。 count字段,之前寫入hudi的是int類型泪蔫,新寫一批寫入是指定為long類型棒旗,導致寫入失敗
解決方法:改回int類型或者刪除hudi表重新寫入

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市撩荣,隨后出現(xiàn)的幾起案子铣揉,更是在濱河造成了極大的恐慌,老刑警劉巖餐曹,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件逛拱,死亡現(xiàn)場離奇詭異,居然都是意外死亡台猴,警方通過查閱死者的電腦和手機橘券,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來卿吐,“玉大人旁舰,你說我怎么就攤上這事∥斯伲” “怎么了箭窜?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長衍腥。 經(jīng)常有香客問我磺樱,道長,這世上最難降的妖魔是什么婆咸? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任竹捉,我火速辦了婚禮,結(jié)果婚禮上尚骄,老公的妹妹穿的比我還像新娘块差。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布憨闰。 她就那樣靜靜地躺著状蜗,像睡著了一般。 火紅的嫁衣襯著肌膚如雪鹉动。 梳的紋絲不亂的頭發(fā)上轧坎,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天,我揣著相機與錄音泽示,去河邊找鬼缸血。 笑死,一個胖子當著我的面吹牛械筛,可吹牛的內(nèi)容都是我干的属百。 我是一名探鬼主播,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼变姨,長吁一口氣:“原來是場噩夢啊……” “哼族扰!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起定欧,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤渔呵,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后砍鸠,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體扩氢,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年爷辱,在試婚紗的時候發(fā)現(xiàn)自己被綠了录豺。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,865評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡饭弓,死狀恐怖双饥,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情弟断,我是刑警寧澤咏花,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站阀趴,受9級特大地震影響昏翰,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜刘急,卻給世界環(huán)境...
    茶點故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一棚菊、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧叔汁,春花似錦统求、人聲如沸检碗。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至瑰钮,卻和暖如春冒滩,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背浪谴。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工开睡, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人苟耻。 一個月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓篇恒,卻偏偏與公主長得像,于是被迫代替她去往敵國和親凶杖。 傳聞我的和親對象是個殘疾皇子胁艰,可洞房花燭夜當晚...
    茶點故事閱讀 45,870評論 2 361

推薦閱讀更多精彩內(nèi)容