kafka生產(chǎn)環(huán)境搭建之需求場景分析

[TOC]

12-kafka生產(chǎn)環(huán)境搭建之需求場景分析

評估afka集群(其他集群評估方法類似)


image

13-kafka生產(chǎn)環(huán)境搭建之物理機數(shù)量的評估

評估Kafka集群需要多少物理機
Kafka Mysql hadoop 需要物理機(性能好)

image

14-kafka生產(chǎn)環(huán)境搭建之磁盤選擇

  1. SSD還是SAS(普通)穆刻?
    SSD:性能好旁蔼,價格高
    SAS:性能一般鳞芙,價格低
    SSD隨機讀寫性能好,適合MySQL隘蝎,順序?qū)懜鶶AS差不多
    所以選擇SAS
  2. 每臺服務器幾塊硬盤
    日志里276T,那么5臺,每臺就是60T
    準備的容量是 60/0.8 = 75T
    一般每塊5-10T畅哑?那就是 7.5-15塊硬盤

15-kafka生產(chǎn)環(huán)境之內(nèi)存評估

  1. 內(nèi)存盡量給 os cache
  2. JVM 也要占內(nèi)存
    kafka在JVM中的數(shù)據(jù)不是很多俏险,一般幾個G就可以了(最多10G就行了)
image

16-kafka生產(chǎn)環(huán)境搭建之cpu壓力評估

評估CPU就是看看有多少個線程
CPU core =4:最多幾十個
CPU core =8:最多不到100
CPU core =16:100來個
CPU core =32:200來個

Accptor 線程:1
Processor 線程: 默認:3严拒;最好是:6或9
RequestHanderPool 線程:默認:8 ;最好是:16或32
定時清理日志線程
ISR線程
同步副本數(shù)據(jù)
1+9+32=42 再加點其他的線程 Kafka 大概有100多個線程竖独,至少要有 16 core裤唠,32core更好。

17-kafka生產(chǎn)環(huán)境搭建之網(wǎng)絡需求評估

一般就是千兆(1G/s)萬兆(10G/s)
網(wǎng)卡一般到不了極限莹痢,一般也就70%-80%种蘸。

image

所以使用千兆網(wǎng)卡也還行,高峰期可能會有些壓力竞膳,用萬兆絕對沒問題

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末航瞭,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子坦辟,更是在濱河造成了極大的恐慌刊侯,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件锉走,死亡現(xiàn)場離奇詭異滨彻,居然都是意外死亡,警方通過查閱死者的電腦和手機挠日,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進店門疮绷,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人嚣潜,你說我怎么就攤上這事冬骚。” “怎么了?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵只冻,是天一觀的道長庇麦。 經(jīng)常有香客問我,道長喜德,這世上最難降的妖魔是什么山橄? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮舍悯,結(jié)果婚禮上航棱,老公的妹妹穿的比我還像新娘。我一直安慰自己萌衬,他們只是感情好饮醇,可當我...
    茶點故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著秕豫,像睡著了一般朴艰。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上混移,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天祠墅,我揣著相機與錄音,去河邊找鬼歌径。 笑死毁嗦,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的沮脖。 我是一名探鬼主播金矛,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼勺届!你這毒婦竟也來了驶俊?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤免姿,失蹤者是張志新(化名)和其女友劉穎饼酿,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體胚膊,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡故俐,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了紊婉。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片药版。...
    茶點故事閱讀 39,779評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡堆缘,死狀恐怖和媳,靈堂內(nèi)的尸體忽然破棺而出翻翩,到底是詐尸還是另有隱情,我是刑警寧澤表箭,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布音瓷,位于F島的核電站锦庸,受9級特大地震影響敬锐,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜剩盒,卻給世界環(huán)境...
    茶點故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一谷婆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧辽聊,春花似錦纪挎、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至贾铝,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間埠帕,已是汗流浹背垢揩。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留敛瓷,地道東北人叁巨。 一個月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像呐籽,于是被迫代替她去往敵國和親锋勺。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,700評論 2 354

推薦閱讀更多精彩內(nèi)容