長和浮點字段在 Kibana 中顯示為文本字段

Question

運行 Kibana 5.5.2 版。 我當前的設置是 Logstash 正在從 Docker 容器中獲取日志，在將日志發送到 elasticsearch 之前運行 grok 過濾器。 我需要顯示的特定日志，浮動是從 AWS 調用到 ECS 和 EC2 的兩倍，目前一個 grok 過濾器將它們拉出來。 這是提取 ECS 計時的自定義過濾器： ECS_DESCRIBE_CONTAINER_INSTANCES (AWS)(%{SPACE})(ecs)(%{SPACE})(%{POSINT})(%{SPACE})(?<ECS_DURATION>(%{NUMBER}))(s)(%{SPACE})(?<ECS_RETRIES>(%{NONNEGINT}))(%{SPACE})(retries)所以我需要 ECS_DURATION 是一個浮點數，而 ECS_RETRIES 是一個長整數。 在 docker 日志處理程序中，我有以下內容

    if [ECS_DURATION] {
      mutate {
        convert => ["ECS_DURATION", "float"]
      }
    }

    if [ECS_RETRIES] {
      mutate {
        convert => ["ECS_RETRIES", "integer"]
      }
    }

當我查看 Kibana 中的字段時，它仍然顯示為文本字段，但是當我向 elasticsearch 發出以下映射請求時，它顯示這些字段為 long 和 float。

GET /logstash-2020.12.18/_mapping
{
  "logstash-2020.12.18": {
    "mappings": {
      "log": {
        "_all": {
          "enabled": true,
          "norms": false
        },
        "dynamic_templates": [
          {
            "message_field": {
              "path_match": "message",
              "match_mapping_type": "string",
              "mapping": {
                "norms": false,
                "type": "text"
              }
            }
          },
          {
            "string_fields": {
              "match": "*",
              "match_mapping_type": "string",
              "mapping": {
                "fields": {
                  "keyword": {
                    "ignore_above": 256,
                    "type": "keyword"
                  }
                },
                "norms": false,
                "type": "text"
              }
            }
          }
        ],
        "properties": {
          "@timestamp": {
            "type": "date",
            "include_in_all": false
          },
          "@version": {
            "type": "keyword",
            "include_in_all": false
          },
          "EC2_DURATION": {
            "type": "float"
          },
          "EC2_RETRIES": {
            "type": "long"
          },
          "ECS_DURATION": {
            "type": "float"
          },
          "ECS_RETRIES": {
            "type": "long"
          },

我什至通過以下調用在 elasticsearch 中創建了一個自定義映射模板

PUT /_template/aws_durations?pretty
{
  "template": "logstash*",
  "mappings": {
    "type1": {
      "_source": {
        "enabled": true
      },
      "properties": {
        "ECS_DURATION": {
          "type": "half_float"
        },
        "ECS_RETRIES": {
          "type": "byte"
        },
        "EC2_DURATION": {
          "type": "half_float"
        },
        "EC2_RETRIES": {
          "type": "byte"
        }
      }
    }
  }
}

Answer 1

您是否檢查過它實際上是否進入了if [ECS_DURATION]和if [ECS_RETRIES]條件？ （我無法評論）