堆栈内存溢出
cost 78 ms
如何在没有架构注册表的情况下使用 AvroSerializer

[英]How to use AvroSerializer without a schema registry

我正在尝试编写一个单元测试来验证向 Avro 模式添加新属性是否向后兼容。 首先我把Avro generated.cs model 保存为MyModelOld.cs 并将里面的class 重命名为MyModelOld。 然后我使用新属性针对 avsc 文件重新运行 Avro gen。 我想做的是： ...

java Kafka 客户端不将 LocalDateTime 序列化为 JSR-310 并忽略注释和自定义序列化程序

[英]java Kafka client doesn't serialize LocalDateTime to JSR-310 and ignores annotations and custom serializer

我需要发送到从以下 pojo 序列化的 kafka json： 不幸的是，即使有注释，我也看到在结果 json 中我得到以下数据而不是格式化字符串： 根据类似问题的其他答案，我尝试了一些事情：我创建了自定义序列化程序： 我将它添加到 application.yaml： 我还将其添加到 applica ...

使用 VirtualBox 中的 Helm 在 Kube.netes 中设置 Nifi 以与 Kafa 一起使用

[英]Setting up Nifi for use with Kafa in Kubernetes using Helm in a VirtualBox

我需要在 Kube.netes (microk8s) 中使用 helm chart 在虚拟机（Ubuntu，使用 VirtualBox）中设置 NiFi。 最终目标是与 Kafka 进行双向通信，Kafka 也已经部署在 Kube.netes 中。 我在 Cetic here找到了 NiFi 的 h ...

Kafka Streams 应用程序生成具有相同消息的主题

[英]Kafka Streams application producing topic with same message

我的 Kafka 流应用程序遇到了一个问题，其中消息被多次处理并且结果主题不断接收消息。 此问题仅存在于生产环境中，不存在于我的本地环境中。 你能根据转换器代码帮我确定这个问题的根本原因吗？ ` 当我从变压器中删除 KStore 时，一切似乎都正常。 ...

为什么 PySpark 没有使用流从 kafka 读取数据，但可以正常读取？

[英]Why is PySpark not reading data from kafka using streaming, but works fine with reading it normally?

我正在尝试使用结构化流从 kafka 读取数据，但该程序似乎没有得到任何数据。 此代码不会将任何记录打印到控制台： 但是，如果我将其修改为不使用这样的流式传输： 它可以毫无问题地打印前 10 行数据。 关于可能导致此问题的任何线索？ ...

在 Quarkus 反应代码中响应 NACK 消息导致就绪检查失败

[英]Responding NACK on message in Quarkus reactive code cause the readiness check to fail

我正在实施一个用例，在该用例中，我以反应方式收听来自 quarkus 应用程序中的 Kafka 主题的消息。 我遵循了这个 Gist中的KafkaDeadLetterTopic class 作为基本代码，包含在这个博客文章https://quarkus.io/blog/kafka-failure-s ...

如何在一个集群中配置kafka broker发布消息

[英]How to configure a kafka broker in one cluster to publish message

我有两个经纪人，我想用特定区域的特定消息限制第二个经纪人。 例如，我们在世界上有多个地区提供我们的服务，如中国、印度我只是想将印度地区的特定合作伙伴数据转移到 broker1，将中国地区的特定合作伙伴数据转移到 broker2。 如果可能的话，我正在寻找需要在 C# 中实施的解决方案，但欢迎提出想法 ...

Kafka Streams 是否也会清除 state 存储内部异常的数据？

[英]Does Kafka Streams also wipes out state store data on internal exceptions?

我知道 state 存储在用户异常时被清除，并在启用 EOS 时从更改日志主题中恢复。 这是否也适用于由 kafka 流处理的其他内部异常？ 像 ProducerFencedException 或当 kafka 无法生成记录时因为负载太大或任何与连接相关的异常？ 如果不是，是否足以用 try-ca ...

如何解码 MM2 偏移量同步主题中的消息？

[英]How to decode messages in MM2 offset sync topic?

参考KIP-382中涵盖的偏移量同步主题，该主题维护集群到集群的偏移量映射，同时使用来自mm2-offset-syncs.target.internal的消息发现它们被序列化。 有没有一种方法可以反序列化 output，以便使用 kafka 命令行消费者可以理解它？ ...

MM2.0消费群体行为

[英]MM2.0 consumer group behavior

我正在尝试运行一些测试来了解 MM2 的行为。 作为其中的一部分，我有以下问题： 如何在mm2.properties中正确传递 MM2 的自定义消费者组？ 基于这个问题，尝试在 mm2.properties 中传递<alias>.group.id=temp_cons_group mm2. ...

无法在本地运行 PySpark（Kafka 到 Delta）并获取 SparkException：找不到目录“spark_catalog”的目录插件 class

[英]Unable to run PySpark (Kafka to Delta) in local and getting SparkException: Cannot find catalog plugin class for catalog 'spark_catalog'

我正在尝试编写一个 PySpark 代码来读取 Kafka 主题并发布到 Delta 表。 但它不起作用。 示例代码： 命令：星火版本：3.3.1 安慰： 在运行此代码之前，我是否需要指定目录和模式？ 这样做的最佳做法是什么？ ...

使用 leftJoin 合并 2 个 kstreams 主题时如何修复反序列化错误？

[英]How to fix the deserialization error when merging 2 kstreams topics using leftJoin?

我是卡夫卡的新手。 我正在做一个个人项目，我想写 2 个不同的 Avro 主题并使用 leftJoin 合并它们。 合并它们后，我也想向 KSQL 数据库生成相同的消息。 （我还没有实施那部分）。 我正在使用 Kafka 模板生成 2 个 Avro 主题并将它们转换为 kstreams 以合并它 ...

Debezium：仅在 column.include.list 中的列发生更改时才生成消息

[英]Debezium: Produce messages only upon changes to columns in column.include.list

我正在运行 Debezium，其中column.include.list配置为源 MySQL 数据库的每个观察表上的列子集。 对源表上记录的更改已成功发布到 Kafka，每条消息before和after的值仅包含该列的子集。 但是，当不在column.include.list中的观察表的列发生更改时 ...

列值总是被截断

[英]column values are always truncated

我目前正在做一个小项目，我从 kafka 主题中获取 stream 机器数据（JSON 格式）以供进一步分析。 列值中的 JSON 应拆分为多个列及其相应的值。 现在我总是遇到无法在列值中看到所有数据的问题，视图似乎总是被截断。 读取 stream： 结果： Dataframe 和 base64 编 ...

我怎样才能让我的 KafkaJS 消费者无限期地等待经纪人上线？

[英]How can I make my KafkaJS consumer wait indefinitely for a broker to come online?

我有一个配置如下的KafkaJS消费者： 目前，在启动应用程序时，我遇到了几个这样的连接错误： 上述错误是预料之中的，因为我没有运行代理。 然后是： 此时应用程序挂起。 它不会崩溃。 我还收到了我在consumer.connect()的 catch 块中记录的错误： 我希望我的应用程序能够在它配置 ...

Reactor Kafka - 消费者数量大于分区数量时的瓶颈

[英]Reactor Kafka - Bottleneck if the number of consumer is greater than the number of partition

请问关于 Reactor Kafka 的小问题。 请问如果kafka消费者的数量（很多）大于分区数量，分区数量是否是性能瓶颈？ 举一个具体的例子，假设我有一个名为 the-topic 的主题，只有三个分区。 现在，我有这个下面的应用程序，以便从主题中消费： 我将应用程序 docker 化并部署在 K ...

尝试部署 debezium 连接器时，没有可从字符串值反序列化的字符串参数构造函数/工厂方法

[英]no String-argument constructor/factory method to deserialize from String value, when trying to deploy a debezium connector

我正在观看 kafka connect 的视频教程，他希望我在 cmd 中使用以下 curl 命令部署 debezium 连接器： 但是，当我运行该命令时，出现以下错误： 关于我做错了什么的任何想法？ ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM