對于異步提交的方式,存在一種異常:如果在提交的過程中提交失敗,那么對于消費者來說應該還會發(fā)生重復消費的問題肮之。
使用 java 時可以采取異步+同步的方式刮刑,即異步提交發(fā)生異常時使用同步的時候挡逼。
在 spark 消費 kafka 的過程中是怎么處理這種異常問題呢部念?
Kafka+Spark Streaming管理offset的兩種方法Kafka配合Spark Streaming是大數據領域常見的黃金搭檔之一穴翩,主要是用于數據實時入庫或分析贝次。 為了應對可能出現的引起Streaming程序崩潰的異常情況崔兴,我們一...