[TOC]
12-kafka生產(chǎn)環(huán)境搭建之需求場景分析
評估afka集群(其他集群評估方法類似)
image
13-kafka生產(chǎn)環(huán)境搭建之物理機數(shù)量的評估
評估Kafka集群需要多少物理機
Kafka Mysql hadoop 需要物理機(性能好)
image
14-kafka生產(chǎn)環(huán)境搭建之磁盤選擇
- SSD還是SAS(普通)穆刻?
SSD:性能好旁蔼,價格高
SAS:性能一般鳞芙,價格低
SSD隨機讀寫性能好,適合MySQL隘蝎,順序?qū)懜鶶AS差不多
所以選擇SAS - 每臺服務器幾塊硬盤
日志里276T,那么5臺,每臺就是60T
準備的容量是 60/0.8 = 75T
一般每塊5-10T畅哑?那就是 7.5-15塊硬盤
15-kafka生產(chǎn)環(huán)境之內(nèi)存評估
- 內(nèi)存盡量給 os cache
- JVM 也要占內(nèi)存
kafka在JVM中的數(shù)據(jù)不是很多俏险,一般幾個G就可以了(最多10G就行了)
image
16-kafka生產(chǎn)環(huán)境搭建之cpu壓力評估
評估CPU就是看看有多少個線程
CPU core =4:最多幾十個
CPU core =8:最多不到100
CPU core =16:100來個
CPU core =32:200來個
Accptor 線程:1
Processor 線程: 默認:3严拒;最好是:6或9
RequestHanderPool 線程:默認:8 ;最好是:16或32
定時清理日志線程
ISR線程
同步副本數(shù)據(jù)
1+9+32=42 再加點其他的線程 Kafka 大概有100多個線程竖独,至少要有 16 core裤唠,32core更好。
17-kafka生產(chǎn)環(huán)境搭建之網(wǎng)絡需求評估
一般就是千兆(1G/s)萬兆(10G/s)
網(wǎng)卡一般到不了極限莹痢,一般也就70%-80%种蘸。
image
所以使用千兆網(wǎng)卡也還行,高峰期可能會有些壓力竞膳,用萬兆絕對沒問題