簡體 English 中英

我可以在Logstash和Elasticsearch之間使用Kafka嗎？（使用兩個卡夫卡）

[英]Can I use Kafka between Logstash and Elasticsearch? ( Using two Kafka)

原文 2019-05-13 07:17:39 0 1 elasticsearch/ apache-kafka/ elastic-stack

我正在嘗試將Apache Kafka與Elastic Stack （Beats，Logstash，Elasticsearch和Kibana）集成在一起

從圖中可以看出，Kafka位於Beats和Logstash之間。 我想知道是否可以在Logstash和Elasticsearch之間放置另一個Kafka。 （我用紅筆畫的地方。）

兩個卡夫卡的聲音還好嗎？

有什么想法或想法要分享嗎？

1 個解決方案

是。

Logstash可以作為輸出寫入Kafka。
您可以使用Kafka Connect Elasticsearch從Kafka流到Elasticsearch。

如果您想在此處使用Kafka緩沖/縮放Logstash的輸出，則可能並且很有意義。

但是請記住，您還可以：

（a）從Beats寫入Kafka，並使用KSQL / Kafka Streams等進行任何處理，然后再寫入Kafka，然后再將Kafka連接到Elasticsearch，或者（b）從Logstash寫入Elasticsearch

使用logstash消費kafka主題到elasticSearch

[英]Consuming a kafka topic using logstash to elasticSearch

使用Elasticsearch + Logstash將匯總統計信息推送到Kafka

[英]Using Elasticsearch + Logstash to push aggregated statistics to Kafka

ElasticSearch 到 Kafka 事件 - 使用 Logstash 進行每次更改

[英]ElasticSearch to Kafka event - on each change using Logstash

如何使用 Kafka 在 logstash 中保留日志更長時間？

[英]How can I use Kafka to retain logs in logstash for longer period?

Kafka到Elasticsearch，HDFS與Logstash或Kafka Streams / Connect

[英]Kafka to Elasticsearch, HDFS with Logstash or Kafka Streams/Connect

Logstash /不是logtash用於kafka-elasticsearch集成？

[英]Logstash/not logstash for kafka-elasticsearch integration?

如何在兩台分離的服務器之間使用Logstash將日志從文件發送到Elasticsearch？

[英]How can I send logs from file to Elasticsearch using Logstash between two separated servers?

如何運行 mongo-kafka 連接器作為 kafka 的源並將其與 logstash 輸入集成以使用 elasticsearch 作為接收器？

[英]How to run the mongo-kafka connector as a source for kafka and integrate that with logstash input to use elasticsearch as a sink?

使用 python 連接 kafka 和 elasticsearch

[英]connection between kafka and elasticsearch using python

Logstash Kafka主題作為Elasticsearch索引名的一部分

[英]Logstash kafka topic as part of elasticsearch indexname

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 使用logstash消費kafka主題到elasticSearch 使用Elasticsearch + Logstash將匯總統計信息推送到Kafka ElasticSearch 到 Kafka 事件 - 使用 Logstash 進行每次更改如何使用 Kafka 在 logstash 中保留日志更長時間？ Kafka到Elasticsearch，HDFS與Logstash或Kafka Streams / Connect Logstash /不是logtash用於kafka-elasticsearch集成？如何在兩台分離的服務器之間使用Logstash將日志從文件發送到Elasticsearch？如何運行 mongo-kafka 連接器作為 kafka 的源並將其與 logstash 輸入集成以使用 elasticsearch 作為接收器？使用 python 連接 kafka 和 elasticsearch Logstash Kafka主題作為Elasticsearch索引名的一部分

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM