Logstash中的兩個輸出。 僅用於某些聚合

Question

我正在嘗試指定logstash的第二個輸出，以便僅保存某些聚合數據。 目前尚不知道如何實現。 文檔沒有涵蓋這種情況。

目前，我使用一個輸入和一個輸出。

輸入定義（ logstash-udp.conf ）：

input { 
    udp { 
        port => 25000
        codec => json
        buffer_size => 5000
        workers => 2
    }
}

filter {
  grok {
    match => [ "message", "API call happened" ]
  }

  aggregate {
    task_id => "%{example_task}"
    code => "
        map['api_calls'] ||= 0
        map['api_calls'] += 1
        map['message'] ||= event.get('message')
        event.cancel()
    "
    timeout => 60
    push_previous_map_as_event => true
    timeout_code => "event.set('aggregated_calls', event.get('api_calls') > 0)"
    timeout_tags => ['_aggregation']
  }
}

輸出定義（ logstash-output.conf ）：

output {
  elasticsearch {
    hosts => ["localhost"]
    manage_template => false
    index => "%{[@metadata][udp]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

我現在想實現什么？ 我需要添加第二個不同的聚合（不同的數據和條件），它將像現在一樣將所有未聚合的數據保存到Elasticsearch，但是此聚合的聚合數據將保存到Postgres。 我目前陷入困境，在網絡上搜索一些文檔/示例無濟於事。

Answer 1

我建議使用多個管道： https : //www.elastic.co/guide/en/logstash/current/multiple-pipelines.html

這樣，您可以有一個管道用於聚合，第二個管道用於純數據。