logstash-> kafka-> logstash-> elasticsearch刪除一些日志

Question

我有一個logstash->kafka->logstash->elasticsearch設置。 logstash尾隨日志文件。 該日志文件被追加到bunyan中nodejs ，一切都被設置成json格式/編解碼器。 在我看來，任何包含空數組的日志條目都不會傳遞到目的地。 有誰知道是什么問題嗎？ kafka不是設計成采用空列表的json對象嗎？ logstash的kafka輸出插件非常新，是否存在與此相關的已知問題？ 我從谷歌搜索中找不到任何東西...

Answer 1

我將做兩件事來檢查問題的根源：

• 將文件追加程序添加到第一個logstash，然后檢查是否將空數組寫入文件。 架構看起來像這樣： logstash->文件，kafka-> logstash-> elasticsearch
• 自己從kafka主題中讀取並檢查是否正在寫入空數組。 您可以使用Apache Kafka Python插件執行此操作

這樣，您可以檢查問題是在logstash插件方面（更有可能）還是在kafka方面（不太可能，因為kafka基本上只是讀/寫字節，並且不熟悉內容本身）。