本文通過一個(gè) Elasticsearch 集群中主分片分配不均衡的例子演示一下 Cluster reroute API 的使用凑懂。

對(duì)于 Elasticsearch 分片分配策略不了解的同學(xué)可以點(diǎn)一下關(guān)注，后面更文之后獲取第一手資料。

image.png

環(huán)境信息

Windows 10

Elasticsearch 8.1

JDK17

初始集群狀態(tài)

分片1蟀拷，分片2拙绊，分片4 都在 node-2 節(jié)點(diǎn)上

image.png

我們可以使用如下命令移動(dòng)索引 my-index-0000010 在 node-2 節(jié)點(diǎn)上的 主分片1 移動(dòng)到 node-1 節(jié)點(diǎn)上

POST /_cluster/reroute?metric=none
{
  "commands": [
    {
      "move": {
        "index": "my-index-0000010", "shard": 1,
        "from_node": "node-2", "to_node": "node-1"
      }
    }
  ]
}

移動(dòng)完成之后結(jié)果如下拣播。

image.png

下面我們看一個(gè)例子途茫，如果我們索引 my-index-0000010 在 node-2 節(jié)點(diǎn)上的 主分片4 移動(dòng)到 node-4 節(jié)點(diǎn)會(huì)發(fā)生什么情況呢，大家可以猜想一下的圆，看一下是不是和你想得一樣鼓拧。

image.png

如下命令是移動(dòng)索引 my-index-0000010 在 node-2 節(jié)點(diǎn)上的 主分片4 到 node-4 節(jié)點(diǎn)上去。

POST /_cluster/reroute?metric=none
{
  "commands": [
    {
      "move": {
        "index": "my-index-0000010", "shard": 4,
        "from_node": "node-2", "to_node": "node-4"
      }
    }
  ]
}

返回結(jié)果如下所示越妈，我們只需要關(guān)注NO的地方即可季俩，我已經(jīng)在下圖標(biāo)示出來了，提示的意思就是梅掠，node-4 節(jié)點(diǎn)上已經(jīng)存在 分片4 的副本酌住，不允許進(jìn)行 move 操作

image.png

對(duì)于如上這種情況店归，那么我們該如何進(jìn)行分片的遷移呢？

首先可以知道的是赂韵，如果我們把節(jié)點(diǎn)node-2上的分片4移動(dòng)到node-4節(jié)點(diǎn)上是不被允許的，因?yàn)?code>node-4上面已經(jīng)存在分片4的副本分片挠蛉，那么我們可以反過來思考祭示，如果想讓節(jié)點(diǎn) node-2 上的分片可以均衡分配，只需要讓 Elasticsearch 觸發(fā)一下正常的分片分配即可谴古，所以我們使用如下的語句质涛，來讓 Elasticsearch 進(jìn)行 node-2 節(jié)點(diǎn)上 主分片4 的重新分配。

POST /_cluster/reroute?metric=none
{
  "commands": [
    {
      "cancel": {
        "index": "my-index-0000010",
        "shard": 4,
        "node": "node-2"
      }
    }
  ]
}

如果你執(zhí)行完了上面的語句掰担，你會(huì)發(fā)現(xiàn)汇陆，報(bào)錯(cuò)了

image.png

那是因?yàn)?Elasticsearch 對(duì)于主分片的 cancel 操作，需要添加 allow_primary 屬性带饱，設(shè)置為true 即可毡代，修改之后的語句如下所示。

POST /_cluster/reroute?metric=none
{
  "commands": [
    {
      "cancel": {
        "index": "my-index-0000010",
        "shard": 4,
        "node": "node-2",
        "allow_primary": true
      }
    }
  ]
}

返回如下結(jié)果代表執(zhí)行成功勺疼。

{
  "acknowledged" : true,
  "state" : {
    "cluster_uuid" : "dyCQnpMvSd2w3Hn9tcBTig"
  }
}

繼續(xù)查看當(dāng)前的 Elasticsearch 分片分配情況如下所示教寂。可以看到 主分片4 已經(jīng)到了節(jié)點(diǎn) node-4上面了执庐。

image.png

對(duì)于節(jié)點(diǎn) node-5 上面的 分片2 也可以執(zhí)行同樣的操作酪耕，執(zhí)行完成之后，Elasticsearch 進(jìn)行默認(rèn)的分片分配策略進(jìn)行重新分配轨淌，結(jié)果如下迂烁。

POST /_cluster/reroute?metric=none
{
  "commands": [
    {
      "cancel": {
        "index": "my-index-0000010",
        "shard": 2,
        "node": "node-5",
        "allow_primary": true
      }
    }
  ]
}

image.png

未分配分片進(jìn)行分配

首先創(chuàng)建一個(gè)索引 my-index-0000011，分片數(shù)量為1递鹉，副本分片數(shù)量為1盟步。

PUT /my-index-0000011
{
  "settings": {
    "number_of_replicas": 1,
    "number_of_shards": 1
  }
}

通過頁面可以看到 主分片分配到了 node-5 上，副本分片在 node-2 上躏结。

image.png

添加一條測試數(shù)據(jù)

PUT my-index-0000011/_doc/1
{
  "name":"zuiyu"
}

image.png

我們同時(shí)停掉節(jié)點(diǎn) node-2 與 node-5,觀察索引 my-index-0000011 的分片分配情況址芯。

可以看到因?yàn)閮蓚€(gè)節(jié)點(diǎn)的同時(shí)離開，造成了分片無法重新分配窜觉，這是因?yàn)樵撍饕?my-index-0000011 的主分片與副本文件同時(shí)離開谷炸，Elasticsearch 集群無法找到有效的分片充當(dāng)主分片，所以分片會(huì)無法分配禀挫。針對(duì)這種情況下的分片無法分配問題旬陡，可以使用如下方式進(jìn)行解決，具體解決方式看業(yè)務(wù)來選擇语婴。

image.png

• 第一種方式就是重啟異常的節(jié)點(diǎn)描孟，等待恢復(fù)驶睦。
• 第二種就是手動(dòng)觸發(fā)分片分配，但是會(huì)造成數(shù)據(jù)丟失匿醒。

說到分片未分配场航，需要重新分配問題，那么就要提到我們的第三個(gè)命令 allocate_replica廉羔，用法如下：

POST /_cluster/reroute?metric=none
{
  "commands": [
    {
      "allocate_replica": {
        "index": "my-index-0000011",
        "shard": 0,
        "node":""
      }
    }
  ]
}

對(duì)于我們的情況就沒法使用了溉痢，因?yàn)樗饕?my-index-0000011 的主分片與副本分片同時(shí)丟失，Elasticsearch 集群無法獲取到正確的副本來進(jìn)行恢復(fù)憋他。此時(shí)就要用到另外的兩個(gè)命令了孩饼。

需要注意的是，這另外的兩個(gè)命令都會(huì)造成數(shù)據(jù)丟失竹挡。

會(huì)造成數(shù)據(jù)丟失镀娶。

會(huì)造成數(shù)據(jù)丟失。

所以需要一個(gè)另外的參數(shù)來清晰的告訴你揪罕，你在做什么梯码，以后丟了數(shù)據(jù)是你允許的。參數(shù)就是 accept_data_loss, 當(dāng)該參數(shù)為 true 時(shí)好啰，表示如果丟了數(shù)據(jù)忍些，我可不背這鍋。

image.png

如下兩個(gè)命令為原始數(shù)據(jù)無法恢復(fù)且允許接收數(shù)據(jù)丟失的情況下使用

allocate_stale_primary

該參數(shù)的意思就是坎怪，如果有該索引的副本分片存在(但是該分片是過時(shí)的罢坝，也就是說不是最新的副本分片)，Elasticsearch 會(huì)將主分片分配給該副本分片搅窿，所以這個(gè)情況下會(huì)造成數(shù)據(jù)丟失嘁酿。顯然對(duì)于我們目前的情況來說也是不合適的，下面我們來看另一個(gè)命令男应。

allocate_empty_primary

該參數(shù)命令會(huì)為索引分配一個(gè)全新的空的主分片闹司，相當(dāng)于沒有數(shù)據(jù)，也就造成數(shù)據(jù)丟失了沐飘，而且是完全丟失游桩。當(dāng)之后擁有數(shù)據(jù)副本的節(jié)點(diǎn)再次加入集群時(shí)，該分片的數(shù)據(jù)會(huì)被刪除耐朴。
這個(gè)命令對(duì)我們這個(gè)情況來說是可以實(shí)現(xiàn)的借卧，不過就是在數(shù)據(jù)不被需要的時(shí)候是可以使用的。所以使用場景就要看我們每個(gè)人的業(yè)務(wù)場景了筛峭。
用法如下所示：

POST /_cluster/reroute?metric=none
{
  "commands": [
    {
      "allocate_empty_primary": {
        "index": "my-index-0000011",
        "shard": 0,
        "node":"node-3",
        "accept_data_loss":true
      }
    }
  ]
}

總結(jié)

對(duì)于分片未分配的問題铐刘，可以使用 API 來進(jìn)行查看分片分配情況。使用 move 命令修改主分片的存儲(chǔ)節(jié)點(diǎn)位置影晓；使用 cancel 命令撤銷主分片節(jié)點(diǎn)存儲(chǔ)位置镰吵，使 Elasticsearch 重新分配索引分片檩禾；使用 allocate_replica 手動(dòng)觸發(fā)分片重新分配；使用 allocate_stale_primary 分配一個(gè)過時(shí)的副本分片來充當(dāng)主分片疤祭；使用 allocate_empty_primary 生成一個(gè)新的空分片來充當(dāng)主分片盼产。

備注

使用如下命令獲取索引分片分配情況，不加參數(shù)隨機(jī)返回一個(gè)有問題的索引勺馆，加了參數(shù)就按照參數(shù)指定的來返回戏售。

GET _cluster/allocation/explain
{
  "index": "my-index-0000011",
  "shard": 0,
  "primary": true
}