使用Logstash Elasticsearch輸出插件的ILM不起作用

Question

我正在嘗試使用Elasticsearch輸出插件將ILM實現為正確使用硬件的索引。 看起來我誤解了Logstash如何管理ILM。

我在docker中有ELK堆棧版本7.1.0。 X-Pack由試用許可證激活。

索引模板由Logstash Elasticsearch輸出插件管理，索引生命周期策略是使用Kibana創建的。

這是Logstash管道的輸出部分：

output {
    elasticsearch {
        hosts => ["http://eshost:9200"]
        user => "logstash_writer"
        password => "pass"
        template => "/usr/share/logstash/es_templates/ilm-template.json"
        template_name => "ilm-template"
        template_overwrite => true
        ilm_enabled => true
        ilm_rollover_alias => "ilm-index"
        ilm_pattern => "000001"
        ilm_policy => "base-policy"
    }
}

用戶logstash_writer具有默認角色logstash_writer具有ILM管理權限。

Elasticsearch索引模板ilm-template.json ：

{
  "settings" : {
    "index.number_of_replicas" : "1",
    "index.number_of_shards" : "1",
    "index.refresh_interval" : "5s"
  }
}

由Logstash實際創建的Elasticsearch索引模板_template/ilm-template ：

{
  "ilm-template" : {
    "order" : 0,
    "index_patterns" : [
      "ilm-index-*"
    ],
    "settings" : {
      "index" : {
        "lifecycle" : {
          "name" : "base-policy",
          "rollover_alias" : "ilm-index"
        },
        "refresh_interval" : "5s",
        "number_of_shards" : "1",
        "number_of_replicas" : "1"
      }
    },
    "mappings" : { },
    "aliases" : { }
  }
}

使用Kibana創建的策略base-policy ：

{
    "policy": {
        "phases": {
            "hot": {
                "min_age": "0ms",
                "actions": {
                    "rollover": {
                        "max_size": "100mb",
                        "max_docs": 100000
                    },
                    "set_priority": {
                        "priority": 100
                    }
                }
            },
            "delete": {
                "min_age": "2d",
                "actions": {
                    "delete": {}
                }
            }
        }
    }
}

我期望索引集合ilm-index-* ，但只有ilm-index-000001被創建並且不斷增長，盡管base-policy局限性。 所以我只在Kibana中看到一個與base-policy相關的索引（ ilm-index-000001 ）。

Answer 1

提供的配置是正確的。 問題在於max_size和max_docs參數值很小時的解釋。 當pri.store.size和docs.count變得大於max_size和max_docs設置時，Elasticsearch不會翻轉索引。