Druid調優(yōu)指南(二)- Broker

【翻譯自https://druid.apache.org/docs/latest/operations/basic-cluster-tuning.html

Broker

Heap sizing(堆大小調整)

Broker上的堆主要使用集中在:

來自歷史節(jié)點以及Tasks(一般值peons)未合并的查詢

segment時間線:包括當前所有可用的segments的位置信息(哪個歷史節(jié)點或者task正在提供segment查詢服務)

緩存segment元數(shù)據(jù):包括當前所有可用的segments元數(shù)據(jù)(如每個segment的schema信息)

Broker堆 基于集群中segment的數(shù)量以及segments的總數(shù)據(jù)大小進行擴展睡扬。

堆大小 將基于數(shù)據(jù)大小和使用模式有所不同叉存,但4G到8G是中小集群(大約15臺服務器或者更小)的良好起點。

對內存需求粗略估計分扎,節(jié)點數(shù)約為100個節(jié)點的超大集群需要broker堆的大小為30G~60G

如果使Broker中的緩存生效肋层,緩存存儲在堆中洒放,大小由 druid.cache.sizeInBytes 設置。

Direct memory sizing(直接內存大小調整)

在Broker中取劫,所需的直接內存數(shù)量取決于配置了多少合并緩沖區(qū)(用于合并GroupBy)匆笤。Broker通常不需要處理線程或處理緩沖區(qū),因為查詢結果是在http連接線程的堆上合并的勇凭。

druid.processing.buffer.sizeBytes: 可以設置為500M

druid.processing.numThreads:設置為 1 (所允許的最小值)

druid.processing.numMergeBuffers:與歷史節(jié)點設置為相同的值 或者略高一點

Note on the deprecated? chunkPeriod

Broker 不需要處理線程和處理緩沖區(qū)? 有一個例外:

如果在 query context 設置了已棄用的 chunkPeriod 屬性疚膊,GroupBy V1 查詢將會使用處理線程和處理緩沖區(qū)。

chunkPeriod 和 GroupBy V1(代替用GroupBy V2)目前已被棄用虾标,將來將會被移除寓盗,不推薦再使用。chunkPeriod特性的存在也解釋了為什么要配置處理線程最小為1璧函,盡管未被使用傀蚌。

Connection pool sizing (連接池大小調整)

需要確保所有Brokers中 druid.broker.http.numConnections 的總和 略低于 歷史節(jié)點和Tasks中設置的 druid.server.http.numThreads值。

在同一個Broker節(jié)點蘸吓,druid.server.http.numThreads 應該略高于 druid.broker.http.numConnections善炫。

使得每個歷史節(jié)點可以接受50個查詢和10個非查詢,進而相應的調整Broker是一個合理的集群調優(yōu)的開端库继。

Broker backpress(Broker 反向施壓)

當從歷史節(jié)點和Tasks提取查詢結果時箩艺,Broker能夠選擇性的指定隊列以及未讀數(shù)據(jù)的最大緩沖區(qū)大小,并且在達到上限時宪萄,對歷史節(jié)點和Tasks的通道施加反壓力(導致在歷史節(jié)點/Task端阻塞對通道的寫入艺谆,直到Broker能夠從通道中消耗一些數(shù)據(jù))

緩沖區(qū)大小通過 druid.broker.http.maxQueueBytes來設置

這個大小限制被查詢命中的歷史節(jié)點/Tasks的數(shù)量分攤:假如設置 druid.broker.http.maxQueuedBytes 為5MB,Broke收到一個查詢拜英,該查詢需要分攤到2個歷史節(jié)點静汤,每個歷史節(jié)點通道將得到2.5MB的緩沖區(qū)。

通常將該值設置為 2MB * number of Historicals居凶。

當集群規(guī)模隨著歷史節(jié)點和Tasks增多而擴展時虫给,需要相應的增加緩沖區(qū)大小和Broker堆大小。

如果緩沖區(qū)太小侠碧,會因為緩沖區(qū)快速填滿并拖住通道而使得查詢效率低下

如果緩沖區(qū)太大抹估,會因為http通道中有較多的排隊結果數(shù)據(jù)而使得Broker有較大的內存壓力

Number of brokers

Broker 與歷史節(jié)點的比率設置為1:15 是一個合理的開端。

如果需要Broker HA弄兜,需要先部署2個Broker棋蚌,然后用1:15的比率來添加額外的Brokers

Total memory usage

按照下面的指導估計Broker總的內存使用量:

Heap: 分配的堆大小

Direct Memory:(druid.processing.numThreads + druid.processing.numMergeBuffers + 1) * druid.processing.buffer.sizeBytes

Druid調優(yōu)指南(三)- MiddleManager

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市挨队,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌蒿往,老刑警劉巖盛垦,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異瓤漏,居然都是意外死亡腾夯,警方通過查閱死者的電腦和手機颊埃,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來蝶俱,“玉大人班利,你說我怎么就攤上這事≌ゴ簦” “怎么了罗标?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長积蜻。 經常有香客問我闯割,道長,這世上最難降的妖魔是什么竿拆? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任宙拉,我火速辦了婚禮,結果婚禮上丙笋,老公的妹妹穿的比我還像新娘谢澈。我一直安慰自己,他們只是感情好御板,可當我...
    茶點故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布锥忿。 她就那樣靜靜地躺著,像睡著了一般稳吮。 火紅的嫁衣襯著肌膚如雪缎谷。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天灶似,我揣著相機與錄音列林,去河邊找鬼。 笑死酪惭,一個胖子當著我的面吹牛希痴,可吹牛的內容都是我干的。 我是一名探鬼主播春感,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼砌创,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了鲫懒?” 一聲冷哼從身側響起嫩实,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎窥岩,沒想到半個月后甲献,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡颂翼,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年晃洒,在試婚紗的時候發(fā)現(xiàn)自己被綠了慨灭。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡球及,死狀恐怖氧骤,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情吃引,我是刑警寧澤筹陵,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布,位于F島的核電站际歼,受9級特大地震影響惶翻,放射性物質發(fā)生泄漏。R本人自食惡果不足惜鹅心,卻給世界環(huán)境...
    茶點故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一吕粗、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧旭愧,春花似錦颅筋、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至桃熄,卻和暖如春先口,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背瞳收。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工碉京, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人螟深。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓谐宙,卻偏偏與公主長得像,于是被迫代替她去往敵國和親界弧。 傳聞我的和親對象是個殘疾皇子凡蜻,可洞房花燭夜當晚...
    茶點故事閱讀 42,916評論 2 344

推薦閱讀更多精彩內容