繁体   English   中英

在AWS上运行的Kafka-如何在新实例启动时保留broker.id来代替实例/代理失败

Kafka running on AWS - how to retain broker.id on new instance spun-up in-place of instance/broker failed

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

在AWS上运行的Kafka-如何在实例/代理代替新实例启动时保留broker.id。

我们当前正在AWS中运行带有Broker.id的Kafka并自动生成。 但是,当代理失败时,我们会遇到问题,AWS中新启动的代理/实例被分配了新的broker.id。 问题在于,使用这种方法,我们需要将主题/重复项手动重新分配给新代理。

我们了解到,如果我们能够在失败的代理/实例的新的AWS实例启动时获得相同的broker.id,则Kafka可以自动解决复制问题。

我已经读过,我们可以设置broker.id.generation.enable = false,但是识别和保留broker.id的最佳方法是什么? 任何链接/帮助表示赞赏。

问题暂未有回复.您可以查看右边的相关问题.
3 运行安全的Kafka集群时无法生成broker.id

我正在尝试通过SASL(通过Kerberos)身份验证运行3台计算机的Kafka群集。 第一个节点正常启动,并创建所有相关的Zookeeper节点(/经纪人,/消费者等)。 但是,由于这些znode上的身份验证问题,没有其他代理可以成功启动。 具体来说,我看到以下异常导致其他代理在启动 ...

5 Kafka broker.id:环境变量与配置文件优先级

我正在设置一个Kafka集群,在其中设置broker.id=-1以便自动生成broker.id 。 但在某些情况下,希望使用环境变量(即KAFKA_BROKER_ID )进行设置。 如果这样做,具有KAFKA_BROKER_ID env变量的节点会使用env变量还是自动生成它们? ...

6 无法与 AWS 实例上的 Kafka 代理交谈

我意识到这个问题经常出现。 我已经阅读了许多主题和博客文章,但我在这里。 长话短说,我有一个运行 wurstmeister/zookeeper & wurstmeister/kafka 的 docker 容器,然后一些服务在它们自己的容器中运行。 我现在只提到 NoddJS 一个。 在家里一 ...

8 如何以编程方式检查 Kafka Broker 是否已启动并在 Python 中运行

我正在尝试使用来自 Kafka 主题的消息。 我正在使用confluent_kafka消费者的包装器。 在开始使用消息之前,我需要检查是否建立了连接。 我读到消费者很懒惰,所以我需要执行一些操作才能建立连接。 但是我想在不执行consume或poll操作的情况下检查连接建立。 此外,我尝试给出一 ...

10 Java中的Kafka经纪人ID

我想知道是否可以在Java中为Kafka设置代理ID? 我可以看到server.properties有一个broker.id配置参数来配置代理ID,但我希望在运行时通过从每个代理节点的配置文件中选择代理ID来覆盖此参数。 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM