Kafka-Connect vs Filebeat和Logstash
[英]Kafka-Connect vs Filebeat & Logstash
問題描述
我希望從Kafka消費數據並將數據保存到Hadoop和Elasticsearch中。 我目前已經看到了兩種方法：使用Filebeat從Kafka消費並將其發送到ES，以及使用Kafka-Connect框架。 有一個Kafka-Connect-HDFS和Kafka-Connect-Elasticsearch模塊。
我不確定要使用哪個發送流數據。 雖然我認為如果我想在某個時候從Kafka中獲取數據並將其放入Cassandra中，我可以為此使用Kafka-Connect模塊，但是Filebeat沒有這樣的功能。
1 個解決方案
解決方案1
6 已采納 2016-09-12 23:39:29
Kafka Connect可以處理流數據並且更加靈活。 如果您只是想彈性一點，Filebeat是一個干凈的日志源集成。 但是，如果您要從Kafka遷移到許多不同的接收器，則可能需要Kafka Connect。 我建議您查看連接器中樞，以查看當前可使用的一些開源連接器示例， 網址為http://www.confluent.io/product/connectors/
Kafka-connect elasticsearch用於索引的自動小寫主題名稱
[英]Kafka-connect elasticsearch auto-lowercase topic name for for index
無法使用 elasticsearch sink 連接器（kafka-connect）
[英]Unable to use elasticsearch sink connector (kafka-connect)
使用 Kafka-Connect 將消息路由到不同的 ElasticSearchIndex
[英]Route message to different ElasticSearchIndex using Kafka-Connect
數據管道設計注意事項（Filebeat，Kafka，Logstash，Elasticsearch）
[英]Data pipeline design considerations (Filebeat, Kafka, Logstash, Elasticsearch)
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Kafka vs filebeat 將 Shippong 日志發送到 Logstash
無法啟動Kafka-Connect
為什么filebeat無法連接到logstash
在 kafka-connect 接收器中提取字段和解析 JSON
無法將Filebeat連接到Logstash以使用ELK進行日志記錄
Filebeat 連接 Logstash 總是 i/o 超時
Kafka-connect elasticsearch用於索引的自動小寫主題名稱
無法使用 elasticsearch sink 連接器（kafka-connect）
使用 Kafka-Connect 將消息路由到不同的 ElasticSearchIndex
數據管道設計注意事項（Filebeat，Kafka，Logstash，Elasticsearch）
相關標簽