kafka不同的主题设置不同的分区

Question

据我所知，kafka server.properties中的“ num.partitions”将适用于所有主题。 现在，我要为topicA设置partitionNumber = 1，并为topicB设置partitionNumber = 2。 使用高级api可以实现吗？

Answer 1

num.partitions是自动生成主题时使用的值。 如果您自己生成主题，则可以根据需要设置任意数量的分区。

您可以使用以下命令自己生成主题。 （复制因子3和分区数2。大写单词是您必须替换的单词。）

bin/kafka-topics.sh --create --zookeeper ZOOKEEPER_HOSTNAME:ZOOKEEPER_PORT \
--replication-factor 3 --partitions 2 --topic TOPIC_NAME

Answer 2

可以在Kafka Broker上设置一个配置值。

auto.create.topics.enable=true

实际上，True是默认设置，

在服务器上启用自动创建主题。 如果将其设置为true，则尝试为不存在的主题生成数据或获取元数据将使用默认的复制因子和分区数自动创建它。

因此，如果您从不存在的分区中进行读取或写入，就好像它已经存在一样，if会自动为您创建一个分区。 我从未听说过使用高级api自动创建一个。

查看Kafka协议文档 ，似乎没有提供创建主题的方法。