Logstash 拆分日志并单独插入到elasticsearch

Question

我正在编写一个 logstash 配置文件，我收到的日志给我带来了问题，团队向我发送了多个日志合并为一个，例如。

消息：[logitem(aaa=1, bbb=1, ccc=1), logitem(aaa=2, bbb=2, ccc=2), logitem(aaa=3, bbb=3, ccc=3)]

是否可以将这些日志分成 3 个并将它们单独插入到 elasticsearch 中？ (3 条记录)

Answer 1

使用红宝石过滤器

这种方式应该有效（有关讨论和参考，请参阅下面的评论）。 您可能需要在几个地方调整 grok / scan 正则表达式。

grok {
    match => {
        "message" => "^\[%{GREEDYDATA:logitems}\]$"
    }
}

ruby {
    code => "event.set('logitem', event.get('message').scan(/logitem\([^\)]+\)/))"
}

split {
    field => "logitem"
}

grok {
    match => {
        "logitem" => "^logitem\(aaa=%{DATA:field_a}, bbb=%{DATA:field_b}, ccc=%{DATA:field_c}\)"
    }
}

扫描正则表达式的目的是匹配一个字符串：

• 以logitem
• 然后一个(字符
• 然后一个或多个任何字符除外)
• 以)结尾

使用 grok

令人惊讶的是，这种方式行不通。 有关更多详细信息，请参阅此 github 问题。 TL;DR... grok 不会将重复的匹配项放入数组中。

filter {
  grok {
    match => {
      "message" => "^\[*(logitem\(%{DATA:logitem}\), )*logitem\(%{DATA:logitem}\)\]$"
    }
  }
  split {
    field => "logitem"
  }
}

如果您确定消息将始终具有aaa=, bbb=格式，您可以更明确。

[编辑 1：将 grok 方法标记为非工作并添加了 ruby​​ 方法。 2：重新排序一些东西以获得更好的流程]