filebeat/logstash 将 json 转换为 csv 格式

Question

需要建议和示例代码，因为我是 filebeat/logstash 配置的新手。 收割机向 filebeat 发送一个 dsv 文件，filebeat 接受 dsv 输入并将 json 输出发送到 logstash 服务器。

我可以将 dsv 文件格式发送到 logstash 并过滤输入并提供 csv 格式吗？ 要获得 csv 输出，需要对 filebeat 和 logstash 进行哪些更改？

我正在尝试将 json 输入转换为 logstash 中的 csv 但得到一个空文件。 我们使用的是 logstash 6.x 版本。 Filebeat 输入 dsv 文件如下所示：

dbname~dbdate~dbtime
db01~120-03-2019~08:15

Answer 1

如果您可以通过 filebeat 将db01~120-03-2019~08:15发送到 logstash，则可以使用摘要过滤器或 csv 过滤器（使用~作为分隔符）轻松解析该字符串。 然后您可以使用 csv 输出将 csv 写入文件。

或者，您可以使用带有 gsub 的 mutate 过滤器将消息中的~替换为逗号，然后将消息与文件输出一起写入文件。