如何在 kubernetes 部署中擴展 sarama 消費者組？

Question

我正在嘗試讓一些消費者處理來自 kafka 的消息，並且我想實現 kubernetes 部署可擴展性以實現彈性消息處理能力。

我從 sarama 官方指南https://pkg.go.dev/github.com/Shopify/sarama#NewConsumerGroup中找到了這段代碼：

package main

import (
    "context"
    "fmt"
)

type exampleConsumerGroupHandler struct{}

func (exampleConsumerGroupHandler) Setup(_ ConsumerGroupSession) error   { return nil }
func (exampleConsumerGroupHandler) Cleanup(_ ConsumerGroupSession) error { return nil }
func (h exampleConsumerGroupHandler) ConsumeClaim(sess ConsumerGroupSession, claim ConsumerGroupClaim) error {
    for msg := range claim.Messages() {
        fmt.Printf("Message topic:%q partition:%d offset:%d\n", msg.Topic, msg.Partition, msg.Offset)
        sess.MarkMessage(msg, "")
    }
    return nil
}

func main() {
    config := NewTestConfig()
    config.Version = V2_0_0_0 // specify appropriate version
    config.Consumer.Return.Errors = true

    group, err := NewConsumerGroup([]string{"localhost:9092"}, "my-group", config)
    if err != nil {
        panic(err)
    }
    defer func() { _ = group.Close() }()

    // Track errors
    go func() {
        for err := range group.Errors() {
            fmt.Println("ERROR", err)
        }
    }()

    // Iterate over consumer sessions.
    ctx := context.Background()
    for {
        topics := []string{"my-topic"}
        handler := exampleConsumerGroupHandler{}

        // `Consume` should be called inside an infinite loop, when a
        // server-side rebalance happens, the consumer session will need to be
        // recreated to get the new claims
        err := group.Consume(ctx, topics, handler)
        if err != nil {
            panic(err)
        }
    }
}

我有一些問題：

1. 如何設置消費組中的消費者數量？
2. 如果我在 Pod 中部署這個程序，我可以安全地擴展它嗎？ 我的意思是，假設一個程序正在運行，並且我將副本從 1 擴展到 2，那么具有相同組 id 的另一個NewConsumerGroup調用是否可以完美地工作而不會發生沖突？

先感謝您。

注意：我使用的是 Kafka 2.8，聽說 sarama_cluster package 已棄用。

Answer 1

提醒組不能超出主題分區計數

縮放 pod 是使用消費者組的正確方法，並且使用相同的組名是正確的，但是我建議將其和代理地址提取到環境變量中，以便在部署時輕松更改它們

照原樣，容器化代碼將無法使用 localhost 作為 Kafka 連接字符串，因為那將是 pod 本身