长和浮点字段在 Kibana 中显示为文本字段

Question

运行 Kibana 5.5.2 版。 我当前的设置是 Logstash 正在从 Docker 容器中获取日志，在将日志发送到 elasticsearch 之前运行 grok 过滤器。 我需要显示的特定日志，浮动是从 AWS 调用到 ECS 和 EC2 的两倍，目前一个 grok 过滤器将它们拉出来。 这是提取 ECS 计时的自定义过滤器： ECS_DESCRIBE_CONTAINER_INSTANCES (AWS)(%{SPACE})(ecs)(%{SPACE})(%{POSINT})(%{SPACE})(?<ECS_DURATION>(%{NUMBER}))(s)(%{SPACE})(?<ECS_RETRIES>(%{NONNEGINT}))(%{SPACE})(retries)所以我需要 ECS_DURATION 是一个浮点数，而 ECS_RETRIES 是一个长整数。 在 docker 日志处理程序中，我有以下内容

    if [ECS_DURATION] {
      mutate {
        convert => ["ECS_DURATION", "float"]
      }
    }

    if [ECS_RETRIES] {
      mutate {
        convert => ["ECS_RETRIES", "integer"]
      }
    }

当我查看 Kibana 中的字段时，它仍然显示为文本字段，但是当我向 elasticsearch 发出以下映射请求时，它显示这些字段为 long 和 float。

GET /logstash-2020.12.18/_mapping
{
  "logstash-2020.12.18": {
    "mappings": {
      "log": {
        "_all": {
          "enabled": true,
          "norms": false
        },
        "dynamic_templates": [
          {
            "message_field": {
              "path_match": "message",
              "match_mapping_type": "string",
              "mapping": {
                "norms": false,
                "type": "text"
              }
            }
          },
          {
            "string_fields": {
              "match": "*",
              "match_mapping_type": "string",
              "mapping": {
                "fields": {
                  "keyword": {
                    "ignore_above": 256,
                    "type": "keyword"
                  }
                },
                "norms": false,
                "type": "text"
              }
            }
          }
        ],
        "properties": {
          "@timestamp": {
            "type": "date",
            "include_in_all": false
          },
          "@version": {
            "type": "keyword",
            "include_in_all": false
          },
          "EC2_DURATION": {
            "type": "float"
          },
          "EC2_RETRIES": {
            "type": "long"
          },
          "ECS_DURATION": {
            "type": "float"
          },
          "ECS_RETRIES": {
            "type": "long"
          },

我什至通过以下调用在 elasticsearch 中创建了一个自定义映射模板

PUT /_template/aws_durations?pretty
{
  "template": "logstash*",
  "mappings": {
    "type1": {
      "_source": {
        "enabled": true
      },
      "properties": {
        "ECS_DURATION": {
          "type": "half_float"
        },
        "ECS_RETRIES": {
          "type": "byte"
        },
        "EC2_DURATION": {
          "type": "half_float"
        },
        "EC2_RETRIES": {
          "type": "byte"
        }
      }
    }
  }
}

Answer 1

您是否检查过它实际上是否进入了if [ECS_DURATION]和if [ECS_RETRIES]条件？ （我无法评论）