logstash-> kafka-> logstash-> elasticsearch删除一些日志

Question

我有一个logstash->kafka->logstash->elasticsearch设置。 logstash尾随日志文件。 该日志文件被追加到bunyan中nodejs ，一切都被设置成json格式/编解码器。 在我看来，任何包含空数组的日志条目都不会传递到目的地。 有谁知道是什么问题吗？ kafka不是设计成采用空列表的json对象吗？ logstash的kafka输出插件非常新，是否存在与此相关的已知问题？ 我从谷歌搜索中找不到任何东西...

Answer 1

我将做两件事来检查问题的根源：

• 将文件追加程序添加到第一个logstash，然后检查是否将空数组写入文件。 架构看起来像这样： logstash->文件，kafka-> logstash-> elasticsearch
• 自己从kafka主题中读取并检查是否正在写入空数组。 您可以使用Apache Kafka Python插件执行此操作

这样，您可以检查问题是在logstash插件方面（更有可能）还是在kafka方面（不太可能，因为kafka基本上只是读/写字节，并且不熟悉内容本身）。