索引分片策略

Total shards per node

The cluster-level shard allocator tries to spread the shards of a single index across as many nodes as possible. However, depending on how many shards and indices you have, and how big they are, it may not always be possible to spread shards evenly.

The following dynamic setting allows you to specify a hard limit on the total number of shards from a single index allowed per node:

index.routing.allocation.total_shards_per_node
The maximum number of shards (replicas and primaries) that will be allocated to a single node. Defaults to unbounded.
You can also limit the amount of shards a node can have regardless of the index:

cluster.routing.allocation.total_shards_per_node
The maximum number of shards (replicas and primaries) that will be allocated to a single node globally. Defaults to unbounded (-1).

index.routing.allocation.total_shards_per_node 這個參數(shù)可以控制單個索引在同一個結(jié)點上最多分配幾個shard。 默認(rèn)是無上限,因此在擴(kuò)容新結(jié)點的時候命雀,很可能一個索引的很多shard分到同一個node娃兽。 具體設(shè)置多少,需要根據(jù)集群結(jié)點數(shù)量和一個index shard總數(shù)量(包含主和副復(fù)制片)來定掀鹅。

例如10個node,index設(shè)置 5 primary + 5 replica。
設(shè)置index.routing.allocation.total_shards_per_node:1 可以保證這個索引在每個node上只分配一個shard丙者。 這樣設(shè)置好處是數(shù)據(jù)分布最均勻, 但是也有負(fù)面影響慢哈,比如如果有一個node掛了蔓钟,就會有一個shard無法分配,變成UNASSIGNED狀態(tài)卵贱。
如果設(shè)置index.routing.allocation.total_shards_per_node:2 滥沫,則可能數(shù)據(jù)均衡狀態(tài)不如設(shè)置為1那么理想侣集,但是可以容忍一個node掛掉,因為shard可以再分配到其他node兰绣。 這個設(shè)置結(jié)合shard balancing heuristics做全局調(diào)配應(yīng)該比較理想世分。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市缀辩,隨后出現(xiàn)的幾起案子臭埋,更是在濱河造成了極大的恐慌,老刑警劉巖臀玄,帶你破解...
    沈念sama閱讀 218,036評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件瓢阴,死亡現(xiàn)場離奇詭異,居然都是意外死亡健无,警方通過查閱死者的電腦和手機(jī)荣恐,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來累贤,“玉大人叠穆,你說我怎么就攤上這事【矢啵” “怎么了硼被?”我有些...
    開封第一講書人閱讀 164,411評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長渗磅。 經(jīng)常有香客問我嚷硫,道長,這世上最難降的妖魔是什么夺溢? 我笑而不...
    開封第一講書人閱讀 58,622評論 1 293
  • 正文 為了忘掉前任论巍,我火速辦了婚禮,結(jié)果婚禮上风响,老公的妹妹穿的比我還像新娘嘉汰。我一直安慰自己,他們只是感情好状勤,可當(dāng)我...
    茶點故事閱讀 67,661評論 6 392
  • 文/花漫 我一把揭開白布鞋怀。 她就那樣靜靜地躺著,像睡著了一般持搜。 火紅的嫁衣襯著肌膚如雪密似。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,521評論 1 304
  • 那天葫盼,我揣著相機(jī)與錄音残腌,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛抛猫,可吹牛的內(nèi)容都是我干的蟆盹。 我是一名探鬼主播,決...
    沈念sama閱讀 40,288評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼闺金,長吁一口氣:“原來是場噩夢啊……” “哼逾滥!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起败匹,我...
    開封第一講書人閱讀 39,200評論 0 276
  • 序言:老撾萬榮一對情侶失蹤寨昙,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后掀亩,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體舔哪,經(jīng)...
    沈念sama閱讀 45,644評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,837評論 3 336
  • 正文 我和宋清朗相戀三年槽棍,在試婚紗的時候發(fā)現(xiàn)自己被綠了尸红。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,953評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡刹泄,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出怎爵,到底是詐尸還是另有隱情特石,我是刑警寧澤,帶...
    沈念sama閱讀 35,673評論 5 346
  • 正文 年R本政府宣布鳖链,位于F島的核電站姆蘸,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏芙委。R本人自食惡果不足惜逞敷,卻給世界環(huán)境...
    茶點故事閱讀 41,281評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望灌侣。 院中可真熱鬧推捐,春花似錦、人聲如沸侧啼。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽痊乾。三九已至皮壁,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間哪审,已是汗流浹背蛾魄。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人滴须。 一個月前我還...
    沈念sama閱讀 48,119評論 3 370
  • 正文 我出身青樓舌狗,卻偏偏與公主長得像,于是被迫代替她去往敵國和親描馅。 傳聞我的和親對象是個殘疾皇子把夸,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,901評論 2 355

推薦閱讀更多精彩內(nèi)容