Logstash Kafka Input, Logstash worker ordering in data消費

Question

我已將 Logstash 用於 Kafka 到 Elastic 搜索同步。 輸入主題有 8 個分區，我使用 consumer_threads=8 來並行消費 Kafka 主題。

輸入 { kafka { bootstrap_servers => "bootstrapServer" 主題 => "topicName" 編解碼器 => json group_id => "groupName" id => "" consumer_threads => 8 } }

在輸入部分之后，我在 Logstash 邏輯中有一個過濾器和 Output。

如何在不影響 kafka 分區中數據順序的情況下增加 Logstash 工作線程的並行度？

Logstash 在輸入和（過濾器和輸出）之間使用內存隊列嗎？ 如何保證單個分區的數據被Logstash的單個filter和output線程消費。

Answer 1

您不能讓多個工作線程並行處理數據並保留數據的順序。 即使是單線程logstash默認也不保留數據的順序，你需要將pipeline.workers設置為1，同時將pipeline.ordered設置為1。