前言
Kafka會(huì)數(shù)據(jù)寫到硬盤上阔涉。磁盤空間有限缆娃,kafka有提供清理過期數(shù)據(jù)的策略捷绒。
Kafka刪除數(shù)據(jù)有兩種方式:
1. 第一種是按照時(shí)間,超過一段時(shí)間后刪除過期消息龄恋;
2. 第二種是按照消息大小刪除數(shù)據(jù)的疙驾,消息數(shù)量超過一定大小后刪除最舊的數(shù)據(jù)。
確認(rèn)在過期數(shù)據(jù)過期的時(shí)候郭毕,數(shù)據(jù)已經(jīng)被消費(fèi)K椤!O匝骸扳肛!
配置
啟用刪除策略
log.cleanup.policy=delete
直接刪除,刪除后的消息不可恢復(fù)乘碑。
可配置以下兩個(gè)策略:
清理超過指定時(shí)間清理:
log.retention.hours=16
或
log.retention.minutes=60
或
log.retention.ms=3600000
超過指定大小后挖息,刪除舊的消息:
log.retention.bytes=1073741824
無論時(shí)間還是空間維度,只要滿足其中一個(gè)log就會(huì)被清理兽肤。
檢查周期
上面的條件滿足了套腹,那多久檢查一次呢
log.retention.check.interval.ms=300000
這個(gè)參數(shù)就是設(shè)置檢查周期的