Logstash无法从Beats中读取logtype字段

Question

我在一个节点上运行了logstash filebeat和elasticsearch。

我试图获取logstash以标识标记为“ syslog”的日志并将其转储到名为“ syslog”的索引中，但是似乎看不到该标签，因为它们都进入了“未分类”索引（我捕获了所有默认值）指数）

这是我的节奏配置

/etc/filebeat/filebeat.yml
filebeat:
  prospectors:
    -
      paths:
        - /var/log/messages
      fields:
        type: syslog
output:
  logstash:
    hosts: ["localhost:9901"]

这是我的logstash配置文件

/etc/logstash/conf.d/logstash_server_syslog.conf
input {
    beats {
        port => "9901"
    }
}

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

output {
  if [type] == "syslog" {
    elasticsearch {
      hosts => ["10.0.0.167:9200", "10.0.0.168:9200"]
      index => "syslog"
    }
  } else {
    elasticsearch {
      hosts => ["10.0.0.167:9200", "10.0.0.168:9200"]
      index => "uncategorized"
    }
  }
}

Answer 1

查看输出（带有stdout {}节）可以确认这一点，但是我猜测您错过了文档的这一部分：

默认情况下，您指定的[在'fields'config'中的]字段将分组在输出文档中的子字段下。 要将自定义字段存储为顶级字段，请将fields_under_root选项设置为true。

Answer 2

使用document_type配置选项在Filebeat中设置自定义type字段。

filebeat:
  prospectors:
    - paths:
        - /var/log/messages
      document_type: syslog

这将设置@metadata.type字段供Logstash使用，而自定义字段则不会。