ElasticSearch 到 Kafka 事件 - 使用 Logstash 進行每次更改

Question

最終目標：連接 Elasticsearch 和 kafka，並接收 ES 索引到 kafka 的持續變化事件。 從kafka，我有聽眾做進一步的處理。

方法：我使用了Logstash輸入輸出插件。 這是配置代碼。

input {
        elasticsearch {
                hosts => ["localhost:9200"]
                index => "liferay-20116"
        }
}
output {
      kafka {
        topic_id => "elastic-topic-index"
        codec => json
      }
}

它正在工作，但有一個奇怪的問題。

當我聽 kafka 時，它會讀取來自 ES 的所有文檔，目前大約有 176 個文檔。

一旦讀取，它會停止一段時間，說 2 秒，然后再次閱讀整個 176 文檔！

我不知道是什么問題，這是由於 Logstash 行為還是 Kafka 行為怪異？

任何幫助將不勝感激！

Answer 1

這是這個插件的標准行為 - 它將數據匹配推送到給定的查詢。 如果您只想更改文檔，唯一的解決方法是建立自己對更改內容的了解 - 例如，您需要為條目提供時間戳，然后將這些知識合並到發送給 ES 的查詢中。

Answer 2

我確實在不使用 Logstash 的情況下弄清楚了。

我正在使用 ElasticSearch 插件，它在每次更改時作為網絡套接字發出事件。

參考： https : //codeforgeek.com/2017/10/elasticsearch-change-feed/