kafka + 如何将主题从一个磁盘传播到所有其他新磁盘

Question

我们有 Kafka 集群版本 2.7

每台机器都有一个磁盘，如下所示

/dev/sdb                82% /var/kafka/data1

所有主题都在 /var/kafka/data1 下

我们决定为每个 kafka 添加7 个磁盘新磁盘，如下所示

我们在每个新磁盘上创建了 XFS 文件系统，包括挂载（和 fstab 配置）

如下：

/dev/sdb                     82% /var/kafka/data1
/dev/sdc                      1% /var/kafka/data2
/dev/sdd                      1% /var/kafka/data3
/dev/sde                      1% /var/kafka/data4
/dev/sdf                      1% /var/kafka/data5
/dev/sdg                      1% /var/kafka/data6
/dev/sdh                      1% /var/kafka/data7
/dev/sdi                      1% /var/kafka/data8

我们在每个kafka上配置了server.properies ，然后我们在所有机器上重启kafka服务

所以我们现在在 Kafka 重启之后，

由于我们有额外的7 个磁盘，我们希望位于/var/kafka/data1的主题将分离到所有其他新磁盘

但这不是 Kafka 代理重新启动后的情况，并且除了 - /var/kafka/data1之外的所有挂载点文件夹都没有主题

所以问题是——用主题填充新磁盘的程序或过程是什么？

Answer 1

据我所知，Kafka 没有像 Hadoop 那样的节点内重新平衡。

理论上，您可以尝试关闭代理，将新分区挂载到目录，将它们添加到log.dirs ，然后将主题分区移动到这些目录，然后重新启动代理。 但是，我不确定您将如何处理meta.properties类的文件

另一种选择是，在更新代理配置后，使用重新分配分区工具将分区或主题完全移出较大的代理，然后将其移回。 或者只是完全开始从大型使用磁盘中删除目录，并让复制将其移回所有磁盘，希望如此