融合 Kafka java.lang.ClassNotFoundException: io.confluent.kafka.schemaregistry.json.jackson.Jackson
[英]Confluent Kafka java.lang.ClassNotFoundException: io.confluent.kafka.schemaregistry.json.jackson.Jackson
因为我使用 ant 项目，我需要来自这里的 lib jar kafka-schema-registry ，使用 jar 但缺少错误 如果我尝试使用 maven 项目构建 可以导入 class io.confluent.kafka.schemaregistry.json.jackson.Jackso ...
无法使用 JsonSchemaConverter 覆盖 mqtt 源连接器 kafka-confluent 中 use.schema.id、auto.register.schemas 的默认值
[英]Not able to override default values of use.schema.id, auto.register.schemas in mqtt source connector kafka-connect confluent using JsonSchemaConverter
use.schema.id 有什么用？ Kafka-connect 的连接器配置： 我试过 use.schema.id=1，其中 1 是存在模式的全局模式 ID。 http://13.127.201.183:30068/schemas/ids/1 : 我希望该主题只允许遵循这种格式的数据，但 ...
使用kafka-python时如何执行异步提交
[英]How to perform async commit when using kafka-python
我正在为我的 fastapi 消费者应用程序使用kafka-python库，并且我正在批量使用最多 100 条记录的消息。 由于主题流量大，只有一个分区，消费、处理和提交应该尽可能快，因此我想使用commit_async() ，而不是同步commit() 。 但是我找不到commit_async() ...
Ksql 找不到任何名为“COUNT_DISTINCT”的函数
[英]Ksql Can't find any functions with the name 'COUNT_DISTINCT'
我正在使用 ksql cli 运行 我创建了一个 stream 当我运行 count_distinct 查询时 它说 文档指定了这个 function https://docs.ksqldb.io/en/latest/developer-guide/ksqldb-reference/aggrega ...
将 Apache kafka 从 2.7 版本升级到 3.X，在生产 kafka 集群上没有 zookeeper
[英]upgrade Apache kafka from 2.7 version to 3.X without zookeeper on production kafka cluster
我们有 2.7 版本的生产 Kafka 集群，RHEL 7.9 版本上有 5 个 Kafka 代理我们想升级Kafka版本到3.X版本 3.X版本不包含zookeeper，所以我们想知道是否可以在不丢失任何数据的情况下进行升级关于 kafka 2.7 版本，Kafka 将元数据存储在 zookee ...
K8S readiness probe可以控制kafka消费吗？
[英]can K8S readiness probe control kafka consume?
我需要使用来自 Kafka 的消息。 部署在 k8s pod 中的应用程序。 如果我创建一些就绪探针来检查预初始化步骤是否完成，k8s 是否能够控制消费以在之后开始消费？ 我知道就绪探测器可以帮助控制在 pod 启动之前将外部请求分配给它。 但不确定它是否能够控制从 pod 发起的请求。 ...
如果自动提交的发生频率低于轮询，Kafka 消费者如何跟踪已处理的消息？
[英]How does a Kafka Consumer keep track of processed messages if auto commit happen less often than poll?
因此，如果 Kafka Consumer 启用了自动提交且提交间隔为 5 秒，并且我们每 1 秒消耗一次批次...... ... 消费者会在自动提交完成之前多次处理消息吗？ ...
镜像制造商 2.0 备份
[英]Mirror maker 2.0 backup
如果 mirror maker 2.0 停止将消息从源主题复制到目标主题，是否有推荐的方法来遵循/实用程序（除了重新启动 mirror maker 实例）可以使用它来最大限度地减少对目标消费者的影响？ ...
值架构必须是一个结构
[英]value schema must be a struct
我正在向 PostgreSQL 接收器的 Kafka 消费者发送嵌套的 json 数据。我正在构建接收器连接器，不幸的是我无法在源头更改数据。 我想按原样发送数据，而无需使用 kafka 进行任何转换。 kafka connect 显示此错误： 我的 kafka 连接器属性是 = 接收器属性是na ...
如何从 kafka 流中的 avro 数据中删除字段
[英]How to drop fields from avro data in kafka streams
我有一个带有字段userid, email, orderid, totalcost, address.....我想从 kafka 流中的数据中删除一些字段我试过这个来删除 email 和 orderid 字段avrodata.peek((key, value) -> System.out.pr ...
从 Kafka 主题消费数据有很大的滞后
[英]Consume data from Kafka topic with a huge lag
我正面临来自滞后主题的 Kafka 主题消费问题。 以下是一些细节： 我正在使用带有组 ID 的 erlang brod 客户端我在同一组中有几个消费者（3 到 5 个） 如果我的消费者崩溃或断开连接一段时间，它的组 ID 会出现巨大滞后（我们说的是每天约 1.5 亿条消息） 如果我重新启动消费者并 ...
如何在 spring 启动时在单个 @KafkaListener 方法上设置多个 containerFactory
[英]How to set multiple containerFactory on single @KafkaListener method in spring boot
在上面的方法中，这个监听器被不同的国家和不同的主题调用。除了 containerFactory 之外，所有国家的一切都是一样的。 因此，为每个国家/地区创建不同的侦听器，是否有任何方法可以更改每个国家/地区的 containerFactory 并保持相同的 listenEvent 方法。即，不要为 ...
主题分区多于消费者的问题
[英]Issue of having more Topic Partitions than Consumer
我正在尝试创建一个主动/主动集群。 所以我的消费者需要订阅原始主题和复制的主题。 因此分区数将是最初在单个集群设置中使用的分区数的两倍。 分区的增加会给我的消费者带来问题吗？ 有时复制的主题可能收不到消息。 消费者数量将始终小于分区数量。 订阅理想分区（可能无法接收消息的分区）的消费者会导致延迟或任 ...
如何添加用户身份验证配置
[英]How to add user authentication configs
我很困惑如何以编程方式添加身份验证凭据。 不确定 SECURITY_PROVIDERS_CONFIG 是否是我设置这些值的地方。 也在检查常量，我可以看到许多配置都有 _DOC，我很好奇它是什么意思。 例如 SECURITY_PROVIDERS_CONFIG 和 SECURITY_PROVIDERS ...
Kafka 有多个引导服务器，但我们只连接一个服务器。 我们还能向它发布数据吗？
[英]Kafka has multiple bootstrap server but we will connect only one server. Can we still publish data to it?
Kafka 有多个引导服务器，如 b1.com、b2.com、b3.com。 在生产者配置中，我们只传递 b1.com 作为引导服务器。 一旦我们将数据发布到kafka 会发生什么？ 据我所知，如果 b1.com 不是领导者，它应该不允许发布数据，因为 kafka 只允许通过领导者发布数据。 请 ...
相关 Apache Kafka生产者和消费者部分
[英]Realated Apache Kafka producer and consumer part
是否可以将来自 Java 生产者的消息发送到 Kafka 主题并通过 python 消费者使用来自同一主题的相同消息？ 我只能生产和使用来自 python 的数据，但我想在 Kafka 主题中使用来自 java 的生产者数据，并希望通过 python 消费者使用数据。 ...
如何从头重读Kafka主题
[英]How to reread Kafka topic from the beginning
我有 Spring Boot 应用程序，它通过 Spring Kafka 模块使用 Kafka。 相邻团队定期将 JSON 格式的数据发送到一个压缩主题，作为其内部数据库在特定时刻的“快照”。 但是，有时，团队会在没有通知的情况下更新合同，我们的 DTO 不会反映最近的更改，显然，反序列化会失败，而 ...
Spring云stream，kafka binder-点播
[英]Spring cloud stream, kafka binder - seek on demand
我使用 spring 云 stream 和 kafka。 我有一个主题X ，分区Y和消费者组Z Spring boot starter parent 2.7.2 kafka version 2.8.8 ： 它工作正常。 我想在应用程序中有一个端点，它允许我重新读取/重新处理（ seek对吗？） X ...
使用 Kafka 连接器的 topics.regex 配置时自动发现主题
[英]Automatically discover topics when using topics.regex configuration for Kafka Connector
当我为 Kafka Connector Sink 使用topics.regex配置选项时（在这种特殊情况下，Confluent S3 Sink），当第一次启动 sink 时，一切都按预期工作（它发现所有主题并开始使用来自它们的消息）。 我希望以后也能创建一些主题。 我在文档中的任何地方都找不到这里的 ...
Kafka 消费者正在读取比预期多得多的字节
[英]Kafka consumer is reading a lot more bytes than expected
TLDR：本质上，当消费者读取 130 MB/s 时，我们产生大约 800 kB/s，这是我们产生的 150 多倍... 多一点细节。 我们有一些 Golang 生产者，他们以大约 800 kB/s 的速度向 Redpanda (Kafka) 集群中的一些主题写入数据。 然后我们有一些 Kafka ...