Logstash /不是logtash用於kafka-elasticsearch集成？

Question

我讀到elasticsearch rivers / river插件已被棄用。 因此，我們不能直接進行elasticsearch-kafka集成。 如果要執行此操作，則需要在兩者之間具有一些Java（或任何語言）層，以使用其api將來自kafka的數據進行彈性搜索。

另一方面-如果我們有kafka-logstash-elasticsearch-我們擺脫了上面的中間層，並通過僅配置的logstash實現了這一點。 但是我不確定介於兩者之間是否有開銷？

我的理解是正確的嗎？ 在此先感謝您的投入。

問候，普里亞

Answer 1

您的問題很籠統。 最好了解您的體系結構，其目的和所做的假設。

正如其文檔中所述，Kafka是一個可大規模擴展的發布-訂閱消息系統。 我的假設是您將其用作體系結構中的數據代理。

另一方面，Elasticsearch是搜索引擎，因此我假設您將其用作數據訪問/搜索/聚合層。

這兩個獨立的系統需要連接器來創建適當的數據管道。 這就是Logstash的用處。它允許您在Kafka和Elasticsearch之間創建數據流連接。 它還允許您根據需要動態更改數據。

理想情況下，Kafka使用原始數據事件。 Elasticsearch存儲的文檔對您的數據使用者（Web或移動應用程序，其他系統等）有用，因此可能與原始數據格式完全不同。 如果您需要在原始表單和ES文檔之間修改數據，那么Logstash可能會很方便（請參閱過濾器階段）。

另一種方法可能是使用Kafka連接器，例如基於Kafka Streams或Consumers構建自定義工具，但這實際上取決於體系結構的概念-目的，堆棧，數據需求等。