标签[kafka-consumer-api] - 堆栈内存溢出

Kafka Streams - 禁用内部主题创建 - Kafka Streams - disable internal topic creation

我在一个必须使用共享 Kafka 集群的组织工作。由于公司内部政策，我们用于身份验证的帐户仅具有分配的读/写权限。我们无法请求主题创建权限。要创建主题，我们需要遵循入职程序并预先知道主题名称。正如我们所知，Kafka Streams 创建内部主题来持久化流的 state。有没有办法禁用容错 ...

Kafka 消费者实现在 Python 中不起作用 - Kafka consumer implementation not working in Python

第一次使用 Kafka，我遇到了一个问题。我的消费者有以下实现：凭据应正确实施的位置。我收到了订阅该主题的消息，没有错误，但是没有生成消息，尽管我确定该主题上有要使用的消息。我在这里缺少一些必要的配置吗？ ...

新的flink Kafka consumer（KafkaSource）能否从旧的FlinkKafkaConsumer的Savepoint/checkpoint开始？ - Can new flink Kafka consumer (KafkaSource) start from the old FlinkKafkaConsumer's Savepoint/checkpoint?

我有一份工作正在与旧的 flink Kafka 消费者 ( FlinkKafkaConsumer ) 一起运行，现在我想将它迁移到KafkaSource 。但我不确定这次迁移会产生什么影响。我希望我的工作从旧的 FlinkKafkaConsumer 最新成功的检查点开始，这可能吗？如果不可能 ...

如何使用 erlang brod 从 Kafka 分区获取偏移量 - How to get offsets from Kafka partitions using erlang brod

基本上，这就是问题：如果使用 brod group subscriber，是否有办法为每个分区获取提交的偏移量和 Kafka 的偏移量？我正在使用 brod v3.16.2 ...

如果每个主题只有一个分区，一组中的消费者是否会每个订阅一个主题？ - Will consumers in a group subscribe to one topic each, if there is a single partition per topic?

我正在使用 Debezium 记录我的数据库中的更改，Debezium 在主题中为我的数据库中存在的每个表生成更改事件。这些更改记录用于填充另一个数据库。如果我将每个主题限制为只有 1 个分区，假设我有 4 个消费者在运行，当消费者订阅主题时，这 4 个消费者是否会在他们之间划分主题？（他们 ...

有没有办法获得特定主题的一组客户的总数？ - Is there anyway to get total amount of a group client in specific topic?

先来了解一下（cmiiw），kafka中的一个topic被划分为partition每个partition被同组的clients消费。哪个客户端消费到哪个分区取决于有多少客户端可用。示例：我有 3 个客户属于同一组“shipping”（比如说客户 A、B、C）我有一个名为“已验证”的主题并且有 ...

Spring Kafka 仅从批处理中向@KafkaListener 方法提供第一条消息 - Spring Kafka giving only 1st message from batch to @KafkaListener method

我们有 spring Kafka 应用程序和客户反序列化器 class 我们正在使用@KafkaListener 注释来接收消息。我们注意到，通过在自定义反序列化器中添加日志语句，我们正在读取一批（批大小为 5）中的预期消息数，但是使用 @KafkaListener 注释的方法仅从该批中获取第一条 ...

kafka 在消费者中产生消息 - kafka produce messages in consumer

我有一个需要将消息传递到多层处理的应用程序。我需要这样做，因为所有新消息都应该放入第一个通用主题中，以便可以对其进行处理以计算类型，然后将它们放入另一个主题中（以进行进一步处理），从现在开始相同key的消息，go自动直接转到第二个主题。我打算为每一层创建多个主题。消息首先 go 进入第一层并得 ...

Kafka 最佳实践 - 在记录反序列化之前应用重复数据删除 - Kafka best practicies - apply the deduplication before record deserialization

用例有一个上游系统通过 Kafka 生产数据批次（一个批次平均有 1000 万条记录）。起始偏移量和预期记录数通过一个主题（控制），数据本身通过另一个主题（数据）。生产批次时，某些记录可能会定期重复，从而使预期记录与控制主题上发送的记录不匹配。每条记录都有唯一的 ID。问题由于重复项未包含在 ...

重新消费由于数据库错误而在处理过程中失败的 Kafka 消息 - Reconsume Kafka Message that failed during processing due to DB error

我是 Kafka 的新手，想就处理这种情况的最佳实践寻求建议。设想：我有一个 spring 启动应用程序，它有一个消费者方法，该方法通过@KafkaListner注释侦听消息。一旦传入消息发生，消费者方法将处理该消息，它只是通过JdbcTemplate对不同的表执行数据库更新。如果表更新成功 ...

要在 kafka 侦听器中实现并发，在 @KafkaListener 中使用 groupId 和并发来定义消费者组有何不同？ - To achieve concurrency in kafka listener, how are defining consumer groups using groupId & concurrency in @KafkaListener different?

如果一个主题有 > 1 个分区，那么我们可以有一个消费者组，现在这个组中的不同消费者将拆分他们想要读取的分区。我们还有一个选项，我们不使用消费者组，但定义并发 = 2（例如），现在消费者的 2 个实例运行每个从不同分区读取。这两个有什么不同？或者它们在引擎盖下是一样的吗？ ...

Kafka Spring：如何从 RetryTopicConfigurer 隐藏日志 - Kafka Spring: How to hide logs from RetryTopicConfigurer

我有一个有两个分区的主题，我正在使用@RetryableTopic，我可以在我的应用程序控制台上看到日志 INFO oskr.RetryTopicConfigurer - 在 dlt 侦听器中收到消息：{topic name with second partition} 这是错误的，因为它只是另一个 ...

在Kafka Azure 服务总线中，我们如何维护消费者级别的排序？ - How can we maintain ordering at the consumer level in Kafka, Azure Service bus?

问题是我们有一个消费者从队列中读取数据，而那个消费者正在对数据库进行一些更新。现在我们需要运行同一个消费者的多个实例来帮助负载。实例A、实例B、实例C是同一个消费者的运行实例，它们都是从同一个队列中读取。队列中的消息已经有序。例如，假设我按照各自的顺序 M1、M2、M3 向单个队列 Q1 ...

我需要让 Kafka 消费者同时处理每个分区中具有相同 ID 的所有消息。例如，考虑一个主题包含所有不同类型的订单，并且有多个订阅该主题的消费者实例。如何运行消费者来处理每个分区中具有相同 Id 的所有消息？因为当用那个Id生产订单时，虽然Kafka保证所有相同的ID go到同一个分区，但是每 ...

enable_auto_commit=False，但仍然会自动提交偏移量 - enable_auto_commit=False, but still offsets are committed automatically

我正在使用kafka-python==2.0.2 ，并禁用了auto_commit但如果我不通过代码提交，偏移量会自动提交在下面的代码中，即使我注释掉self.consumer.commit_async(callback=.... ，偏移量仍在提交class KafkaMessageConsumer ...

在 Spring Kafka 中提交 offset 时 - When offset is commited in Spring Kafka

看了Spring的2.3版本后，Kafka的enable.auto.commit默认是false ，因为Kafka原生实现的自动提交机制是基于时间调度的，相当不方便。取而代之的是 Spring Kafka 提供了一种提交机制，绑定到记录处理，即您可以为 AckMode 选择 BATCH、RECOR ...

第1步。我创建了两个分区数不同的主题，如下所示：和第 2 步 - 尝试 1。创建三个消费者来收听两个先前创建的主题。在三个不同的终端中执行此命令：描述消费者群体：只有second_topic中的分区为给定的消费者组分发。第 2 步 - 尝试 2。在杀死活跃消费者后，在三个不同的终 ...

kafka consumer batch listener polling records based on sized of the messager - kafka consumer batch listener polling records based on sized of the messager

我希望消费者根据消息的长度/大小批量消费消息批处理意味着 1kb 的批处理和最大 poll.record 为 100。最多轮询 100 条消息或 1kb 的消息。如何在批处理中设置最大 1kb 的消息？我尝试使用max.partition.fetch.bytes=1024但我收到 100 条消 ...

Kafka 侦听器并发线程需要时间来并行启动？ - Kafka listener concurrency threads taking time to start in parallel?

我需要在同一主题中处理大约 50k 条记录（这个数字最多可以从 100 到 50k 不等）。因此，我使用了kafka的并发特性。下面是我的配置和监听器代码。但是当我检查样本 100 条记录的结果时，线程并没有同时启动。以下是相同的回复。线程的启动时间不同，第一个线程和最后一个线程之间的差异 ...

在 AggregatingReplyingKafkaTemplat 中的 Kafka 消费者读取超时场景中消息会发生什么情况？ - What happens to message in a Kafka consumer read timeout scenario in AggregatingReplyingKafkaTemplat?

我有一个工作实现，其中我使用一个生产者主题并从两个消费者主题获取请求响应。在某些情况下，在两个响应中，其中一个响应超时，并且由于我的配置如下，所以我将继续我的一个响应。 returnPartialOnTimeout = 真我需要满足其中一条响应消息超时情况的要求，我想找出有关已超时消息的详细信 ...