文件系統(tǒng)選型
官方推薦 xfs, ext4 亦可,杜絕使用 ext3,ext3 刪除數(shù)據(jù)非常慢,kafka 的性能瓶頸一般而言在磁盤,文件系統(tǒng)的選擇非常重要,磁盤文件系統(tǒng)類型可以用 df -T 或者 mount 命令查看
最大文件打開數(shù)
線上因為文件句柄數(shù)過小導(dǎo)致進(jìn)程報 Too many open files 退出，可以設(shè)置為 1000000硝逢，查看該參數(shù)使用命令 ulimit -n
磁盤掛載參數(shù)
官方推薦掛載數(shù)據(jù)盤時加上 noatime 參數(shù),該參數(shù)在文件被讀取時不會更新文件訪問時間, kafka不依賴該時間,所以建議添加該參數(shù)減少讀文件開銷,磁盤掛載的具體參數(shù)可以用 mount 命令查看
盡量不要將應(yīng)用日志輸出到 kafka 數(shù)據(jù)盤
不管是 kafka 的日志還是其他應(yīng)用日志不要和 kafka 的數(shù)據(jù)盤放在一起,讓數(shù)據(jù)盤專注于kafka 數(shù)據(jù)的寫入,減少對 kafka 順序?qū)憯?shù)據(jù)的影響
JVM 配置
kafka 運行過程中會產(chǎn)生一些大對象,使用 ParNew + CMS 垃圾回收配置在線上出現(xiàn)過一些長時間 STW 的情況,導(dǎo)致 zk 連接斷開等情況,推薦使用 G1 垃圾回收器梳凛，內(nèi)存建議 -Xmx6G -Xms6G
