Logstash Kafka Input, Logstash worker ordering in data消费

Question

我已将 Logstash 用于 Kafka 到 Elastic 搜索同步。 输入主题有 8 个分区，我使用 consumer_threads=8 来并行消费 Kafka 主题。

输入 { kafka { bootstrap_servers => "bootstrapServer" 主题 => "topicName" 编解码器 => json group_id => "groupName" id => "" consumer_threads => 8 } }

在输入部分之后，我在 Logstash 逻辑中有一个过滤器和 Output。

如何在不影响 kafka 分区中数据顺序的情况下增加 Logstash 工作线程的并行度？

Logstash 在输入和（过滤器和输出）之间使用内存队列吗？ 如何保证单个分区的数据被Logstash的单个filter和output线程消费。

Answer 1

您不能让多个工作线程并行处理数据并保留数据的顺序。 即使是单线程logstash默认也不保留数据的顺序，你需要将pipeline.workers设置为1，同时将pipeline.ordered设置为1。