ES集群的rebalance和allocation功能晋渺，可以自動均衡集群內(nèi)部數(shù)據(jù)窄驹、分配分片，保證各個節(jié)點間盡量均衡博烂。但是香椎，在高訪問量或者節(jié)點宕機的情況下，大范圍的rebalance會影響到集群性能禽篱。所以畜伐，調(diào)整好集群相關(guān)參數(shù)，是重中之重躺率。

1 - shard分配策略

集群分片分配是指將索引的shard分配到其他節(jié)點的過程烤礁，會在如下情況下觸發(fā)：

集群內(nèi)有節(jié)點宕機，需要故障恢復(fù)肥照；
增加副本脚仔；
索引的動態(tài)均衡，包括集群內(nèi)部節(jié)點數(shù)量調(diào)整舆绎、刪除索引副本鲤脏、刪除索引等情況；

上述策略開關(guān)吕朵，可以動態(tài)調(diào)整猎醇，由參數(shù)cluster.routing.allocation.enable控制，啟用或者禁用特定分片的分配努溃。該參數(shù)的可選參數(shù)有：

all - 默認值硫嘶，允許為所有類型分片分配分片；
primaries - 僅允許分配主分片的分片梧税；
new_primaries - 僅允許為新索引的主分片分配分片沦疾；
none - 任何索引都不允許任何類型的分片；

重新啟動節(jié)點時第队，此設(shè)置不會影響本地主分片的恢復(fù)哮塞。如果重新啟動的節(jié)點具有未分配的主分片的副本，會立即恢復(fù)該主分片凳谦。

PUT _cluster/settings
{ 
  "persistent" :
  { 
     "cluster.routing.rebalance.enable": "none",
       ##允許在一個節(jié)點上發(fā)生多少并發(fā)傳入分片恢復(fù)忆畅。 默認為2。
       ##多數(shù)為副本
      "cluster.routing.allocation.node_concurrent_incoming_recoveries":2尸执，
      ##允許在一個節(jié)點上發(fā)生多少并發(fā)傳出分片恢復(fù)家凯，默認為2.
       ## 多數(shù)為主分片
      "cluster.routing.allocation.node_concurrent_outgoing_recoveries":2,
       ##為上面兩個的統(tǒng)一簡寫
      "cluster.routing.allocation.node_concurrent_recoveries":2,
      ##在通過網(wǎng)絡(luò)恢復(fù)副本時，節(jié)點重新啟動后未分配的主節(jié)點的恢復(fù)使用來自本地  磁盤的數(shù)據(jù)如失。 
      ##這些應(yīng)該很快绊诲，因此更多初始主要恢復(fù)可以在同一節(jié)點上并行發(fā)生。 默認為4岖常。
      "cluster.routing.allocation.node_initial_primaries_recoveries":4,
      ##允許執(zhí)行檢查以防止基于主機名和主機地址在單個主機上分配同一分片的多個實例驯镊。 
      ##默認為false，表示默認情況下不執(zhí)行檢查。 此設(shè)置僅適用于在同一臺計算機上啟動多個節(jié)點的情況板惑。這個我的理解是如果設(shè)置為false橄镜，
      ##則同一個節(jié)點上多個實例可以存儲同一個shard的多個副本沒有容災(zāi)作用了
      "cluster.routing.allocation.same_shard.host":true
    }
}

2 - rebalance策略

cluster.routing.rebalance.enable為特定類型的分片啟用或禁用重新平衡：

all - （默認值）允許各種分片的分片平衡；
primaries - 僅允許主分片的分片平衡冯乘；
replicas - 僅允許對副本分片進行分片平衡洽胶；
none - 任何索引都不允許任何類型的分片平衡；

cluster.routing.allocation.allow_rebalance用來控制rebalance觸發(fā)條件：

always - 始終允許重新平衡裆馒；
indices_primaries_active - 僅在所有主分片可用時姊氓；
indices_all_active - （默認）僅當(dāng)所有分片都激活時；

cluster.routing.allocation.cluster_concurrent_rebalance用來控制均衡力度喷好，允許集群內(nèi)并發(fā)分片的rebalance數(shù)量翔横，默認為2。

cluster.routing.allocation.node_concurrent_recoveries梗搅，每個node上允許rebalance的片數(shù)量禾唁。

3 - ElasticSearch集群什么時候會進行rebalance？

rebalance策略的觸發(fā)條件无切，主要由下面幾個參數(shù)控制：

## 每個節(jié)點上的從shard數(shù)量荡短，-1代表不限制
cluster.routing.allocation.total_shards_per_node: -1

## 定義分配在該節(jié)點的分片數(shù)的因子 閾值=因子*（當(dāng)前節(jié)點的分片數(shù)-集群的總分片數(shù)/節(jié)點數(shù)，即每個節(jié)點的平均分片數(shù)）
cluster.routing.allocation.balance.shard: 0.45f

## 定義分配在該節(jié)點某個索引的分片數(shù)的因子哆键，閾值=因子*（保存當(dāng)前節(jié)點的某個索引的分片數(shù)-索引的總分片數(shù)/節(jié)點數(shù)掘托，即每個節(jié)點某個索引的平均分片數(shù)）
cluster.routing.allocation.balance.index: 0.55f

## 超出這個閾值就會重新分配分片
cluster.routing.allocation.balance.threshold: 1.0f

## 磁盤參數(shù)
## 啟用基于磁盤的分發(fā)策略
cluster.routing.allocation.disk.threshold_enabled: true
## 硬盤使用率高于這個值的節(jié)點，則不會分配分片
cluster.routing.allocation.disk.watermark.low: "85%"
## 如果硬盤使用率高于這個值籍嘹，則會重新分片該節(jié)點的分片到別的節(jié)點
cluster.routing.allocation.disk.watermark.high: "90%"
## 當(dāng)前硬盤使用率的查詢頻率
cluster.info.update.interval: "30s"
## 計算硬盤使用率時闪盔，是否加上正在重新分配給其他節(jié)點的分片的大小
cluster.routing.allocation.disk.include_relocations: true

elasticsearch內(nèi)部計算公式是：

weightindex(node, index) = indexBalance * (node.numShards(index) – avgShardsPerNode(index))
weightnode(node, index) = shardBalance * (node.numShards() – avgShardsPerNode)
weightprimary(node, index) = primaryBalance * (node.numPrimaries() – avgPrimariesPerNode)
weight(node, index) = weightindex(node, index) + weightnode(node, index) + weightprimary(node, index)

如果計算最后的weight(node, index)大于threshold，就會發(fā)生shard遷移噩峦。

4 - 自定義規(guī)則

可以通過設(shè)置分片的分布規(guī)則來人為地影響分片的分布锭沟，示例如下：

假設(shè)有幾個機架抽兆，可以在每個節(jié)點設(shè)置機架的屬性：

node.attr.rack_id: r1

現(xiàn)在添加一條策略识补，設(shè)置rack_id作為分片規(guī)則的一個屬性

PUT _cluster/settings
{
  "persistent": {
    "cluster.routing.allocation.awareness.attributes":"r1"
  }
}

上面設(shè)置意味著rack_id會用來作為分片分布的依據(jù)。例如：我們啟動兩個node.attr.rack_id設(shè)置r1的節(jié)點辫红，然后建立一個5個分片凭涂，一個副本的索引。這個索引就會完全分布在這兩個節(jié)點上贴妻。如果再啟動另外兩個節(jié)點切油，node.attr.rack_id設(shè)置成r2，分片會重新分布名惩，但是一個分片和它的副本不會分配到同樣rack_id值的節(jié)點上澎胡。

可以為分片分布規(guī)則設(shè)置多個屬性，例如：

cluster.routing.allocation.awareness.attributes: rack_id,zone

注意：當(dāng)設(shè)置了分片分布屬性時，如果集群中的節(jié)點沒有設(shè)置其中任何一個屬性攻谁，那么分片就不會分布到這個節(jié)點中稚伍。

強制分布規(guī)則
更多的時候，我們不想更多的副本被分布到相同分布規(guī)則屬性值的一群節(jié)點上戚宦，那么个曙，我們可以強制分片規(guī)則為一個指定的值。

例如受楼，我們有一個分片規(guī)則屬性叫zone垦搬，并且我們知道有兩個zone，zone1和zone2艳汽。下面是設(shè)置：

cluster.routing.allocation.awareness.force.zone.values: zone1,zone2  
cluster.routing.allocation.awareness.attributes: zone

現(xiàn)在我們啟動兩個node.zone設(shè)置成zone1的節(jié)點猴贰，然后創(chuàng)建一個5個分片，一個副本的索引河狐。索引建立完成后只有5個分片（沒有副本）糟趾，只有當(dāng)我們啟動node.zone設(shè)置成zone2的節(jié)點時，副本才會分配到那節(jié)點上甚牲。

分片分布過濾
允許通過include/exclude過濾器來控制分片的分布义郑。這些過濾器可以設(shè)置在索引級別上或集群級別上。下面是個索引級別上的例子:

假如我們有四個節(jié)點丈钙，每個節(jié)點都有一個叫tag（可以是任何名字）的屬性非驮。每個節(jié)點都指定一個tag的值。如：節(jié)點一設(shè)置成node.tag: value1雏赦，節(jié)點二設(shè)置成node.tag: value2劫笙，如此類推。我們可以創(chuàng)建一個索引然后只把它分布到tag值為value1和value2的節(jié)點中星岗，可以通過設(shè)置index.routing.allocation.include.tag為value1,value2達到這樣的效果填大，如：

PUT /test/_settings 
{ 
     "index.routing.allocation.include.tag" : "value1,value2" 
}

與此相反，通過設(shè)置index.routing.allocation.exclude.tag為value3俏橘，我們也可以創(chuàng)建一個索引讓其分布在除了tag設(shè)置為value3的所有節(jié)點中允华，如：

PUT /test/_settings 
{ 
     "index.routing.allocation.include.tag" : "value3" 
}

include或exclude過濾器的值都會使用通配符來匹配，如value*寥掐。一個特別的屬性名是_ip靴寂，它可以用來匹配節(jié)點的ip地址。

顯然召耘，一個節(jié)點可能擁有多個屬性值百炬，所有屬性的名字和值都在配置文件中配置。如污它，下面是多個節(jié)點的配置：

node.group1: group1_value1   
node.group2: group2_value4

同樣的方法剖踊，include和exclude也可以設(shè)置多個值庶弃，如：

PUT /test/_settings 
{ 
     "index.routing.allocation.include.group1" : "xxx" ,
     "index.routing.allocation.include.group1" : "yyy",
     "index.routing.allocation. exclude.group1" : "zzz"  
}

上面的設(shè)置可以通過索引更新的api實時更新到索引上，允許實時移動索引分片德澈。

完虫埂。

ElasticSearch集群shard均衡策略

ElasticSearch集群shard均衡策略

1 - shard分配策略

2 - rebalance策略

3 - ElasticSearch集群什么時候會進行rebalance？

4 - 自定義規(guī)則