Logstash S3 output 前綴 - 事件日期字段值

Question

如何使用以下格式的事件字段值動態設置 Logstash S3 output 前綴：“%{+YYYY}/%{+MM}/%{+dd}/%{+HH}”？

input:
{"record_time":"2017-03-09T04:07:51.520Z"}

required s3 prefix: 
2017/03/09/04

Answer 1

您可以使用 grok 匹配record_time以提取年、月、日、小時，然后變異為s3 prefix ：

grok {
  match => {
    "record_time" => "%{INT:year}-%{INT:month}-%{INT:day}T%{INT:hour}:%{GREEDYDATA}"
  }
}

mutate {
  # Create s3 prefix
  add_field => {
    "s3_prefix" => "%{year}/%{month}/%{day}/%{hour}"
  }

  # If you don't need separate values, remove them
  remove_field => ["year", "month", "day", "hour"]
}