可靠性
- 保證分區(qū)有序攻晒，消費(fèi)者多線程時(shí)保證有序需要通過多個(gè)隊(duì)列處理
- 生產(chǎn)者重試機(jī)制
- 副本機(jī)制(高可用性)
- 只有寫入的數(shù)據(jù)被 同步到 所有的ISR中的 副本后子眶，數(shù)據(jù)才認(rèn)為已提交胰蝠，HW更新到該位置彪杉，HW之前的數(shù)據(jù)才可以被消費(fèi)者訪問灭抑，保證 沒有 同步完成的數(shù)據(jù)不會(huì)被消費(fèi)者 訪問到
- 0.11版本之后行贪，生產(chǎn)者單會(huì)話冪等性保證(生產(chǎn)者通過pid-seq發(fā)送給服務(wù)端漾稀，服務(wù)端通過過濾保證不重復(fù)消費(fèi))，多會(huì)話冪等性保證(kafka事務(wù)保證了如果機(jī)器重啟時(shí)建瘫，TransactionCoordinator會(huì)為新的producer返回之前的pid崭捍，而不是新的pid)
- 服務(wù)端冪等性保證，多次增加100美元啰脚，結(jié)果也只是增加了100美元殷蛇，就是防止了重復(fù)消費(fèi)(重復(fù)消息的解決方案, 根據(jù)messageId消費(fèi)者端做消費(fèi)過濾 )
- customer_offerset主題保證提交有效性。
- 擠壓信息處理方式橄浓，新建topic(數(shù)據(jù)需要轉(zhuǎn)移到此處)粒梦，分區(qū)是以前十倍，借助多臺(tái)機(jī)器快速消費(fèi)荸实。具體可參考參考文章1
