Metricbeat-Kafka-Logstash配置

Question

我想將Metribeat數據發送給Kafka。 從卡夫卡到Logstash。

這是我的metricbeat.yml 。

metricbeat.config.modules:
  # Glob pattern for configuration loading
  path: ${path.config}/modules.d/*.yml

  # Set to true to enable config reloading
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 1
  index.codec: best_compression

setup.dashboards.enabled: false

output.kafka:

    hosts: ["kafka:9092"]   // I only have one host. 
    topic: "%{[fields.log_topic]}"   
    compression: gzip

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

從Kakfa到Logstash，這是配置文件。

input {
    kafka {
            bootstrap_servers => "localhost:9092"
            topics => ["test"]
    }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    manage_template => false
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"

從Logstash，我想將數據發送到Elasticsearch以供Kibana可視化。

但是，我在Elasticsearch中看不到任何索引。

我正在運行.\\metricbeat.exe setup -e （Windows） .\\start-service metricbeat 。

Elasticsearch服務器，Kibana服務器，Zookeeper服務器，Kafka服務器運行正常。

我的logstash看起來還不錯。 以下是我從cmd中看到的內容。

[2019-05-23T17：26：51,668] [INFO] [org.apache.kafka.common.utils.AppInfoParser] Kafka版本：2.1.0 [2019-05-23T17：26：51,738] [INFO] [org。 apache.kafka.common.utils.AppInfoParser] Kafka commitId：eec43959745f444f [2019-05-23T17：26：52,208] [INFO] [org.apache.kafka.clients.Metadata]群集ID：eJYo7GgaTZitGoeiROlk2w [2019-05-23T17： 26：52,211] [INFO] [logstash.agent]已成功啟動Logstash API端點{：port => 9600} [2019-05-23T17：26：52,222] [INFO] [org.apache.kafka.clients.consumer.internals .AbstractCoordinator] [Consumer clientId = logstash-0，groupId = logstash]發現的組協調員DESKTOP-MOVCIN1：9092（id：2147483647 rack：null）[2019-05-23T17：26：52,229] [INFO] [org.apache。 kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId = logstash-0，groupId = logstash]撤銷先前分配的分區[] [2019-05-23T17：26：52,231] [INFO] [org.apache.kafka.clients .consumer.internals.AbstractCoordinator] [消費者clientId = logstash-0，groupId = logstash]（重新）加入gro up [2019-05-23T17：26：52,274] [INFO] [org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [消費者clientId = logstash-0，groupId = logstash]第23代成功加入小組[2019] -05-23T17：26：52,281] [INFO] [org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId = logstash-0，groupId = logstash]設置新分配的分區[test-0]

誰能給我一些指導？

Answer 1

我終於設法用Metricbeat收集系統數據，通過Kafka將它們發送到Logstash並將它們存儲在Elasticsearch中並在Kibana中查看它們。

這還不是一個理想的答案。 我會更新它，因為我將來會更好地理解。

對於metricbeat.yml配置，

output.kafka:
    hosts: ["localhost:9092"] 
    topic: "testkafka"    // I created this topic in Kafka earlier. 

對於Logstash配置，

input { 
    kafka { 
              bootstrap_servers => "localhost:9092"
              topics => ["testkafka"]
    }
}

output {
   elasticsearch { 
       hosts => ["localhost:9200"]
       index => "testkafka" 
   }
}

至少，通過這些配置，我能夠將ELK與K（Kafka）集成。