Logstash /不是logtash用于kafka-elasticsearch集成？

Question

我读到elasticsearch rivers / river插件已被弃用。 因此，我们不能直接进行elasticsearch-kafka集成。 如果要执行此操作，则需要在两者之间具有一些Java（或任何语言）层，以使用其api将来自kafka的数据进行弹性搜索。

另一方面-如果我们有kafka-logstash-elasticsearch-我们摆脱了上面的中间层，并通过仅配置的logstash实现了这一点。 但是我不确定介于两者之间是否有开销？

我的理解是正确的吗？ 在此先感谢您的投入。

问候，普里亚

Answer 1

您的问题很笼统。 最好了解您的体系结构，其目的和所做的假设。

正如其文档中所述，Kafka是一个可大规模扩展的发布-订阅消息系统。 我的假设是您将其用作体系结构中的数据代理。

另一方面，Elasticsearch是搜索引擎，因此我假设您将其用作数据访问/搜索/聚合层。

这两个独立的系统需要连接器来创建适当的数据管道。 这就是Logstash的用处。它允许您在Kafka和Elasticsearch之间创建数据流连接。 它还允许您根据需要动态更改数据。

理想情况下，Kafka使用原始数据事件。 Elasticsearch存储的文档对您的数据使用者（Web或移动应用程序，其他系统等）有用，因此可能与原始数据格式完全不同。 如果您需要在原始表单和ES文档之间修改数据，那么Logstash可能会很方便（请参阅过滤器阶段）。

另一种方法可能是使用Kafka连接器，例如基于Kafka Streams或Consumers构建自定义工具，但这实际上取决于体系结构的概念-目的，堆栈，数据需求等。