我在 Kube.netes 中的 Kafka 引导程序服务器位于hm-kafka-kafka-bootstrap.hm-kafka.svc:9092 。 我正在尝试在我的 Kube.netes 集群中部署AKHQ 。 这是我的步骤:helm upgrade \ akhq \ akhq \ ...
我在 Kube.netes 中的 Kafka 引导程序服务器位于hm-kafka-kafka-bootstrap.hm-kafka.svc:9092 。 我正在尝试在我的 Kube.netes 集群中部署AKHQ 。 这是我的步骤:helm upgrade \ akhq \ akhq \ ...
我正在从 Java 中的 kafka 读取数据,以在 Apache Flink 中执行一些处理并接收结果。 我有 kafka 主题topic_a ,其中有一些数据,例如 {name: "abc", age: 20} 和一些数据,例如 {pin: 111, number: 999999, addres ...
我是 kafka 的新手,我正在尝试做一些简单的事情。 我用 docker 运行 kafka。这是我的 docker-compose: 如您所见,我将 My IP 作为KAFKA_ADVERTISED_HOST_NAMEE的 127.0.0.1 然后我这样做: docker-compose up - ...
我已经使用从docker pull debezium/connect的 docker 图像部署了 debezium 在https://hub.docker.com/r/debezium/connect提供的文档中,环境变量OFFSET_STORAGE_TOPIC之一的描述如下: 运行 Kafka C ...
我正在使用库Silverback和 Apache Kafka 作为消息代理。 我有两个消息类: 发布到“动物”Kafka 主题/从“动物”主题消费的动物(基类) Dog(扩展 Animal,但没有任何附加属性)发布到“dogs”Kafka 主题/从中消费当我发布 Dog 类型的消息时,Silver ...
我正在尝试 Kafka 流,设法将 stream 普通字符串从一个主题转移到另一个主题,但现在我想将其序列化为 AVRO 消息。 我在 inte.net 上四处寻找解决方案,但没有找到,所以这是我最后的希望。 这是我的代码 当我运行它时出现以下错误: 不知道出了什么问题,我搜索了多个网站以找到解决 ...
我正在寻找一个将 NestJS Kafka 微服务与 Avro 架构一起使用的示例。 到目前为止,消费者正在使用 Json Object,但我们正在寻找以 Avro 作为模式类型的模式注册表。 卡夫卡配置: 消费者: ...
我需要从主题中读取消息,根据提供的配置丰富消息(丰富所需的数据来自外部系统),并将丰富的消息发布到 output 主题。 关于 source 和 output 主题的消息应该是 Avro 格式。 这是自定义 Kafka 连接器的好用例还是我应该使用 Kafka Streams? 为什么我要考虑 K ...
我在一个必须使用共享 Kafka 集群的组织工作。 由于公司内部政策,我们用于身份验证的帐户仅具有分配的读/写权限。 我们无法请求主题创建权限。 要创建主题,我们需要遵循入职程序并预先知道主题名称。 正如我们所知,Kafka Streams 创建内部主题来持久化流的 state。 有没有办法禁用容错 ...
我有一个以下面格式显示的 drataframe,其中记录为 json 数据(字符串格式)从 kafka 主题读取 我只需要将 dataframe 中存在的 json 记录写入 S3。 有什么办法可以解析记录并将 json 转换为 dataframe 并写入 s3? 或提供的任何其他解决方案将有所帮 ...
我正在处理 Fluentd 的 yaml 文件配置。 输入数据来自 kafka 作为 json 文件。 其中一些是列表,例如: { a:[ a1:"1", a2:"2", ... ], b:"10" } Fluentd 如何访问这个 json 的一系列列表项(例如前 10 项)。我写了这个配置以访 ...
关于卡夫卡与 Spring 卡夫卡并发的小问题请问。 我有一个 Kafka 主题theimportanttopic ,许多消息都通过它发送。 事实上,这个 Kafka 主题有三个分区。 (称他们为theimportanttopic-0 theimportanttopic-1 theimportan ...
我在尝试运行 provectus/kafka-ui docker 容器时遇到了一些麻烦。 我有一组服务器都在同一个 internal.network 上运行。 在其中三台服务器上实现了 Kafka 集群(Zookeeper 和 Broker)。 Broker 的结构如下所示: 问题是没有 Doc ...
目标:我的目标是使用 Kafka 使用 Kafka Connect 将消息发送到 Cassandra 接收器。 我已经部署了 Kafka 和 Cassandra,我能够单独使用它们中的每一个——我可以毫无问题地将数据发送到 Kafka,使用生产者传递消息,并使用消费者来消费它们。 我使用 cqls ...
我有 2 个分区和 avro 格式的消息。 我通过 kafka rest 代理 api 发送消息。我使用消息的密钥。 键是一个字符串。 例如,有我的钥匙: 41:46-300、41:45-300、41:44-300、41:43-300、41:42-300。 但是消息分布不均匀。 在分区 0 中,有 ...
当我复制我的消息时,我正在尝试收集一些 Kafka Telemetry 。 当我在 3 个实例中复制记录时,我认为我的瓶颈在 .network 中RF=3 我需要数据来支持我的理论,那么我们是否有任何JMX数据可以告诉我在Grafana中在三台机器中复制一条记录需要多少时间。 问候。 ...
当我使用 spark 连接到 kafka 主题并创建 dataframe 然后存储到 Hudi 中时: 我收到以下异常: 将所有kafka数据存储到Hudi表中 ...
这比让需要发出它的人直接完成 Kafka 生产者事件更值得推荐吗? ...
第一次使用 Kafka,我遇到了一个问题。 我的消费者有以下实现: 凭据应正确实施的位置。 我收到了订阅该主题的消息,没有错误,但是没有生成消息,尽管我确定该主题上有要使用的消息。 我在这里缺少一些必要的配置吗? ...
我有一份工作正在与旧的 flink Kafka 消费者 ( FlinkKafkaConsumer ) 一起运行,现在我想将它迁移到KafkaSource 。 但我不确定这次迁移会产生什么影响。 我希望我的工作从旧的 FlinkKafkaConsumer 最新成功的检查点开始,这可能吗? 如果不可能 ...