按事件類型將日志從 fluentd 中繼到 elasticsearch

Question

我有如下 json 日志：

{"event": "{"eventType": "pageview","userId": "2122334"}"}
{"event": "{"eventType": "reload","userId": "2122334"}"}

我需要根據事件類型將事件中繼到單獨的彈性搜索索引。 我對在 fluentd 中使用標簽、規則中的模式等感到困惑。

一種方法是按類型標記事件，然后將不同的索引發送到 elasticsearch。 但我找不到如何做到這一點的例子。

任何幫助表示贊賞。

謝謝

Answer 1

鑒於您的日志是 JSON 格式的，您的源代碼部分將包含以下內容：

  <parse>
    @type json
    time_key $.log.myTimeField  # optional, just for you to see how to retrieve keys from json.
    keep_time_key true   # optional
  </parse>

然后你可以有這樣的比賽：

  <match **>
    @type copy
    <store>
      @type elasticsearch
      host 127.0.0.1
      port 9200
      index_name logs.${myKey}
      include_tag_key true
      <buffer tag, myKey>
        flush_at_shutdown true
        flush_mode immediate
        flush_thread_count 8
      </buffer>
    </store>
  </match>

請注意，您將需要緩沖區部分。 這個例子很簡單，也許你可以試試這樣的東西，以滿足你的需求：

index_name 日志。${event["eventType"]}

我知道這是一個老問題，但希望以某種方式有所幫助。 祝你好運！