遷移Kafka集群的最佳方法

Question

我有2個節點的kafka群集。 我的kafka版本是0.8.1。
我需要將其遷移到另一組服務器。

什么是遷移的最佳方法，同時又不會造成停機時間和數據丟失的情況？

Answer 1

假設新服務器和舊服務器在同一個數據中心中共存，最簡單的方法是將新服務器添加為所有現有分區的副本。 Kafka將使它們同步，從而使它們具有ISR。 它們是同步的，您應該能夠安全地關閉舊節點。

當然，這取決於使用者的配置方式（他們會自動找到新節點嗎？）以及您所使用的Kafka版本。

看一眼：

• https://kafka.apache.org/documentation.html#basic_ops_cluster_expansion
• https://kafka.apache.org/documentation.html#basic_ops_decommissioning_brokers

您將需要使用kafka-reassign-partitions.sh工具來實現此目的。 首先在非生產環境中進行測試。

Answer 2

我建議您使用卡夫卡鏡子制造商。 看看https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=27846330或https://kafka.apache.org/documentation.html#basic_ops_mirror_maker

基本上，您會運行以下內容：

cp /usr/lib/kafka/config/consumer.properties oldCluster.consumer.properties
cp /usr/lib/kafka/config/producer.properties newCluster.producer.properties

比起設置舊的集群事物，例如：

bootstrap.servers=clusterOldServer1.full.name:9092
auto.offset.reset=earliest
#zookeeper.connect=commentedOutZookeeperForOlderKafka

然后，您將運行遷移命令，該命令將作為“守護程序”運行：

time kafka-run-class kafka.tools.MirrorMaker --consumer.config oldCluster.consumer.properties --producer.config newCluster.producer.properties --whitelist="topic.*regexp"