繁体 English 中英

我可以在Logstash和Elasticsearch之间使用Kafka吗？（使用两个卡夫卡）

[英]Can I use Kafka between Logstash and Elasticsearch? ( Using two Kafka)

原文 2019-05-13 07:17:39 2 1 elasticsearch/ apache-kafka/ elastic-stack

我正在尝试将Apache Kafka与Elastic Stack （Beats，Logstash，Elasticsearch和Kibana）集成在一起

从图中可以看出，Kafka位于Beats和Logstash之间。 我想知道是否可以在Logstash和Elasticsearch之间放置另一个Kafka。 （我用红笔画的地方。）

两个卡夫卡的声音还好吗？

有什么想法或想法要分享吗？

1 个解决方案

是。

Logstash可以作为输出写入Kafka。
您可以使用Kafka Connect Elasticsearch从Kafka流到Elasticsearch。

如果您想在此处使用Kafka缓冲/缩放Logstash的输出，则可能并且很有意义。

但是请记住，您还可以：

（a）从Beats写入Kafka，并使用KSQL / Kafka Streams等进行任何处理，然后再写入Kafka，然后再将Kafka连接到Elasticsearch，或者（b）从Logstash写入Elasticsearch

使用logstash消费kafka主题到elasticSearch

[英]Consuming a kafka topic using logstash to elasticSearch

使用Elasticsearch + Logstash将汇总统计信息推送到Kafka

[英]Using Elasticsearch + Logstash to push aggregated statistics to Kafka

ElasticSearch 到 Kafka 事件 - 使用 Logstash 进行每次更改

[英]ElasticSearch to Kafka event - on each change using Logstash

如何使用 Kafka 在 logstash 中保留日志更长时间？

[英]How can I use Kafka to retain logs in logstash for longer period?

Kafka到Elasticsearch，HDFS与Logstash或Kafka Streams / Connect

[英]Kafka to Elasticsearch, HDFS with Logstash or Kafka Streams/Connect

Logstash /不是logtash用于kafka-elasticsearch集成？

[英]Logstash/not logstash for kafka-elasticsearch integration?

如何在两台分离的服务器之间使用Logstash将日志从文件发送到Elasticsearch？

[英]How can I send logs from file to Elasticsearch using Logstash between two separated servers?

如何运行 mongo-kafka 连接器作为 kafka 的源并将其与 logstash 输入集成以使用 elasticsearch 作为接收器？

[英]How to run the mongo-kafka connector as a source for kafka and integrate that with logstash input to use elasticsearch as a sink?

使用 python 连接 kafka 和 elasticsearch

[英]connection between kafka and elasticsearch using python

Logstash Kafka主题作为Elasticsearch索引名的一部分

[英]Logstash kafka topic as part of elasticsearch indexname

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 使用logstash消费kafka主题到elasticSearch 使用Elasticsearch + Logstash将汇总统计信息推送到Kafka ElasticSearch 到 Kafka 事件 - 使用 Logstash 进行每次更改如何使用 Kafka 在 logstash 中保留日志更长时间？ Kafka到Elasticsearch，HDFS与Logstash或Kafka Streams / Connect Logstash /不是logtash用于kafka-elasticsearch集成？如何在两台分离的服务器之间使用Logstash将日志从文件发送到Elasticsearch？如何运行 mongo-kafka 连接器作为 kafka 的源并将其与 logstash 输入集成以使用 elasticsearch 作为接收器？使用 python 连接 kafka 和 elasticsearch Logstash Kafka主题作为Elasticsearch索引名的一部分

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM