前言

之前搭建的 ELK 集群經(jīng)過幾天的日志收集屎即，索引數(shù)逐漸增多，服務(wù)器的各項內(nèi)存技俐、cpu、IO 指標(biāo)開始上漲起來啡邑，要解決這個問題井赌，在權(quán)衡性能與用戶使用谤逼，應(yīng)該做好索引的生命周期管理。

kibana 索引配置

1. 管理索引

點擊設(shè)置 --- Elasticsearch 的 Index management 可以查看 elk 生成的所有索引

2. 配置 kibana 的索引匹配

3. 配置索引生命周期

點擊設(shè)置 --- Elasticsearch 的 Index Lifecycle Policies 可以配置策略管理索引生命周期

首先創(chuàng)建 Index Lifecycle Policies 也就官方文檔中的四個階段配置
需要說明的是并不是每個階段都是必要配置，這里我的配置參考如下圖耘子，

hot 階段

warm階段 這里設(shè)置的是創(chuàng)建索引 3 天后轉(zhuǎn)移到這一階段谷誓，同時還配置強制合并為 3 個 segments

cold階段，這里設(shè)置的是創(chuàng)建索引 7 天后轉(zhuǎn)移到這一階段户辱，同時凍結(jié)這一索引

delete階段费封，這里設(shè)置的是創(chuàng)建索引 15 天后轉(zhuǎn)移到這一階段蒋伦，同時刪除這一索引

配置好生命周期策略后，我們需要創(chuàng)建一個模板痕届，將我們現(xiàn)在的輸入 index 接管過來末患，然后將策略應(yīng)用于這個模板锤窑，這就達(dá)到了，每次創(chuàng)建的 index 都能應(yīng)用于這一策略
其實最方便的就是將你創(chuàng)建的索引都以 logstash-* 開頭渊啰，默認(rèn)就包含一個名為 logstash 的模板，如果你不想以 logstash-* 開頭創(chuàng)建索引隧膏，你可以先創(chuàng)建個模板參考如下：

PUT /_template/my_template
{
  "order" : 0,
  "index_patterns" : [
    "prod-*",
    "stage-*",
    "dev-*"
  ],
  "settings" : {
    "index" : {
      "number_of_shards" : "1",
      "refresh_interval" : "5s"
    }
  },
  "mappings" : {
    "dynamic_templates" : [
      {
        "message_field" : {
          "path_match" : "message",
          "mapping" : {
            "norms" : false,
            "type" : "text"
          },
          "match_mapping_type" : "string"
        }
      },
      {
        "string_fields" : {
          "mapping" : {
            "norms" : false,
            "type" : "text",
            "fields" : {
              "keyword" : {
                "ignore_above" : 256,
                "type" : "keyword"
              }
            }
          },
          "match_mapping_type" : "string",
          "match" : "*"
        }
      }
    ],
    "properties" : {
      "@timestamp" : {
        "type" : "date"
      },
      "geoip" : {
        "dynamic" : true,
        "properties" : {
          "ip" : {
            "type" : "ip"
          },
          "latitude" : {
            "type" : "half_float"
          },
          "location" : {
            "type" : "geo_point"
          },
          "longitude" : {
            "type" : "half_float"
          }
        }
      },
      "@version" : {
        "type" : "keyword"
      }
    }
  },
  "aliases" : { }
}

以上的模板接管了 prod-* stage-* dev-* 開頭的 index嚷那，然后將策略應(yīng)用于這些 index

現(xiàn)在我們就可以在 index management 里查看索引當(dāng)前的生命周期狀態(tài)

總結(jié)

雖然按照這個流程下來魏宽，能達(dá)到我們的預(yù)期效果。但其中還有很多的東西是需要更多的時間去理解的队询。比如：shard、segments娘摔、這些該怎么分配，怎么去優(yōu)化鸭津。