堆栈内存溢出
cost 73 ms
如何找到哪个消费者分配给kafka中主题的哪个分区？

[英]How to find which consumer is assigned to which partition of a topic in kafka?

我正在构建一个kafka manager tool ，我需要检查哪个主题分区分配给了消费者组中的哪个消费者。 假设有 consumer-Group group-A消费主题topic-A with n partitions ，因此group-A中可以有多个消费者托管在different VM's中。 ...

无法使用 Confluent.Kafka 向 kafka 主题发送消息 C#

[英]Can't send message to kafka topic use Confluent.Kafka C#

我们有 3 种不同的环境：测试、证书和生产。 这些环境具有使用偏移量资源管理器配置的主题。 问题是我可以将消息发送到 cert 和 test，但我不能发送到 prod，直到 prod 中的主题被标记为删除。 一旦我这样做，消息就会立即开始发送。 我试图在测试和认证中创建新主题。 问题一直存在，直到 ...

enable.auto.offset.store=false 与 auto.commit = false 的 Kafka go-lang 工作

[英]Kafka go-lang working of enable.auto.offset.store=false with auto.commit = false

使用go-lang 1.18和confluent-kafka-go v1.8.2 使用enable.auto.commit = false配置。 一旦成功处理消息，我们将手动提交偏移量。 但是，即使在处理过程中遇到错误后设置了此配置，我们也看不到具有相同密钥的消息。 （这意味着即使在错误情况下也会 ...

AKHQ：在您的配置文件中找不到任何集群，请确保正确加载配置文件

[英]AKHQ: Couldn't find any clusters on your configuration file, please ensure that the configuration file is loaded correctly

我在 Kube.netes 中的 Kafka 引导程序服务器位于hm-kafka-kafka-bootstrap.hm-kafka.svc:9092 。 我正在尝试在我的 Kube.netes 集群中部署AKHQ 。 这是我的步骤：helm upgrade \ akhq \ akhq \ ...

Kafka Connect 还是 Kafka Streams？

[英]Kafka Connect or Kafka Streams?

我需要从主题中读取消息，根据提供的配置丰富消息（丰富所需的数据来自外部系统），并将丰富的消息发布到 output 主题。 关于 source 和 output 主题的消息应该是 Avro 格式。 这是自定义 Kafka 连接器的好用例还是我应该使用 Kafka Streams？ 为什么我要考虑 K ...

Flink在java中使用多种数据结构

[英]Flink using multiple structures of data in java

我正在从 Java 中的 kafka 读取数据，以在 Apache Flink 中执行一些处理并接收结果。 我有 kafka 主题topic_a ，其中有一些数据，例如 {name: "abc", age: 20} 和一些数据，例如 {pin: 111, number: 999999, addres ...

使用 KRaft、mTLS 和 StandardAuthorizer 的 Kafka 集群未启动，出现 AuthorizerNotReadyException

[英]Kafka cluster using KRaft, mTLS and StandardAuthorizer not starting up, getting AuthorizerNotReadyException

我正在尝试使用新的 KRaft 模式创建一个新的 Kafka 集群，并使用 SSL 证书进行身份验证和授权（以及新的 StandardAuthorizer）。 我使用的是 Bitnami Kafka 图像，版本 3.3.1。 这是我得到的错误日志的相关部分： 根据KIP-801 Bootstrap ...

使用属性文件配置kafka主题

[英]kafka topic configuration using properties file

我想使用一些主题及其独特的保留设置来配置 Kafka。 所以当我启动 Kafka 时，它将使用这些设置加载 server.properties 文件。 我发现的唯一方法是启动 Kafka，然后使用kafka-topics.sh脚本启动和配置主题。 例子： 我在 docker 上使用 Kafka，所以 ...

带有 REACTOR kafka 的 SpringBoot：增加 2CPUs pod 上的消息消耗吞吐量

[英]SpringBoot with REACTOR kafka : increase message consumption thorughput on a 2CPUs pod

请问一个关于带有 reactor kafka 的 SpringBoot 3 应用程序的小问题。 我有一个小型反应式 kafka 消费者应用程序，它使用来自 kafka 的消息并处理消息。 该应用程序正在使用一个主题the-topic ，该主题具有三个分区。 该应用程序是docker化的，出于资源消耗 ...

Silverback 消息未发布到正确的 Kafka 主题

[英]Silverback messages not published to the correct Kafka Topic

我正在使用库Silverback和 Apache Kafka 作为消息代理。 我有两个消息类： 发布到“动物”Kafka 主题/从“动物”主题消费的动物（基类） Dog（扩展 Animal，但没有任何附加属性）发布到“dogs”Kafka 主题/从中消费当我发布 Dog 类型的消息时，Silver ...

为什么每当我尝试运行 DataStax Kafka Connector 时 Cassandra 都会崩溃？

[英]Why is Cassandra crashing whenever I try to run DataStax Kafka Connector?

目标：我的目标是使用 Kafka 使用 Kafka Connect 将消息发送到 Cassandra 接收器。 我已经部署了 Kafka 和 Cassandra，我能够单独使用它们中的每一个——我可以毫无问题地将数据发送到 Kafka，使用生产者传递消息，并使用消费者来消费它们。 我使用 cqls ...

通过 Fluentd 访问列表项

[英]access list item by Fluentd

我正在处理 Fluentd 的 yaml 文件配置。 输入数据来自 kafka 作为 json 文件。 其中一些是列表，例如： { a:[ a1:"1", a2:"2", ... ], b:"10" } Fluentd 如何访问这个 json 的一系列列表项（例如前 10 项）。我写了这个配置以访 ...

如何在没有架构注册表的情况下使用 AvroSerializer

[英]How to use AvroSerializer without a schema registry

我正在尝试编写一个单元测试来验证向 Avro 模式添加新属性是否向后兼容。 首先我把Avro generated.cs model 保存为MyModelOld.cs 并将里面的class 重命名为MyModelOld。 然后我使用新属性针对 avsc 文件重新运行 Avro gen。 我想做的是： ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM