如何为卡夫卡消费群生成唯一的ID？

Question

我有一个.NET Core Api ，我希望能够接受HTTP请求并将请求者订阅多个Kafka主题。

阅读Kafka文档，我发现对于给定的主题，多个使用者接收同一数据（唯一的说一个分区/主题）的唯一方法是将每个使用者分配到一个使用者组。 否则，我可能会遇到一种情况，即我拥有超过1个消费者/分区。

因此，对于给定的主题，对于要读取相同数据的N消费者，我需要N消费者组。

现在进入Confluent Kafka Library ，在我的场景中（每个消费者组1个消费者），我是否不需要为每个主题都使用ConsumerConfig ？

我不确定该库是否处理这种情况并自动生成ID，还是我需要生成它们，什么是好的策略？

下面是尝试生成id的尝试：

订阅所有主题的请求者

        List<IConsumer<Ignore,string>> consumersForRequester = new List<IConsumer<Ignore,string>>();
        foreach (string topic in KafkaConfig.Topics) {
            string consumerGroupId = IDGenerator.Instance.GetUniqueId(topic);
            if (consumerGroupId == string.Empty) {
                throw new NotSupportedException("Could not subscribe to kafka topic,consumer group id already used");
            }
            ConsumerConfig config = new ConsumerConfig {
                GroupId = consumerGroupId,
            };
            var iconsumer = new ConsumerBuilder<Ignore, string>(config).Build();
            iconsumer.Subscribe(topic);
            consumersForRequester.Add(iconsumer);
        }

IDGenerator

 class IDGenerator {
        private static IDGenerator instance;
        public static IDGenerator Instance {
            get {
                lock (@lock) {
                    if (instance == null) {
                        instance = new IDGenerator();
                    }
                    return instance;
                }
            }
        }
        private Dictionary<string,(Random,HashSet<int>)> uniqueIDMap = new Dictionary<string,(Random,HashSet<int>)>();
        private static readonly object @lock = new object();
        private int MAX_VALUE = 100_000;
        private const int MAX_ATTEMPTS = 3;

        public string Get_Unique_ConsumerGroupID_ForTopic(string topic) {
            //-- thread unsafe
            if (!uniqueIDMap.ContainsKey(topic)) {
                uniqueIDMap.Add(topic,(new Random(), new HashSet<int>()));
            }
            (Random randomForTopic, HashSet<int> hashForTopic) = uniqueIDMap[topic];
            //--
            if (hashForTopic.Count > MAX_VALUE) {
                throw new NotSupportedException($"Consumer Group Count for topic {topic} Reached");
            }
            lock (@lock) {
                int attemptsToGenerateUniqueID = 0;
                while (true) {
                    if (attemptsToGenerateUniqueID++ > MAX_ATTEMPTS) {
                        return string.Empty;
                    }
                    int id = randomForTopic.Next(0, MAX_VALUE);
                    if(hashForTopic.TryGetValue(id,out int actualval)) {
                        continue;
                    }
                    hashForTopic.Add(id);
                    return id.ToString();
                }
            }

        }

    }

PS IDGenerator是我的ASP NET Core应用程序的单例。 对于给定的主题，它尝试使用范围内的Random生成唯一的消费者组ID，所有生成的ID均存储在该特定主题的HashSet中。