Confluent for Kube.netes无法外部访问kafka

[英]Confluent for Kubernetes can't access kafka externally

我正在尝试从 AKS 集群创建关于 confluent-kafka 的外部访问。 我已经能够通过 Ingress 连接到控制中心，但我无法从 kafka 创建外部访问。 我将此添加到 kafka 的规范中： 它创建了两个负载均衡器服务。 然后我在我的 etc/hosts 文件中添加了外部 IP： ...

Spring Kafka: Transaction offset Commit failed due to consumer group metadata 不匹配

[英]Spring Kafka: Transaction offset Commit failed due to consumer group metadata mismatch

Kafka 消息消费正常。 但是我间歇性地收到这个错误。 为什么会出现此错误？ 消费kafka消息是没有问题的。 对不起。 我会说一点英语。 所以这个问题很尴尬。 ...

在kafka topic中发布rdbms表记录

[英]Publish rdbms table record in kafka topic

我有一个工作流程，其中上游正在生成数据，转换器模块对其应用一些业务逻辑并将结果存储在表中。 现在的要求是我需要将该结果发布到 Kafka 主题中 ...

Open Shift Kafka 实例中默认不创建 Topic

[英]Topic is not created by default in the Open Shift Kafka Instance

我正在使用下面的 Camel Route 向 Kafka 实例生成消息，但实例中不存在该主题。 当 Kafka 实例中不存在主题时如何创建主题？ Output：表示没有主题。 主题不存在时如何创建主题？ ...

Spring Kafka 仅从批处理中向@KafkaListener 方法提供第一条消息

[英]Spring Kafka giving only 1st message from batch to @KafkaListener method

我们有 spring Kafka 应用程序和客户反序列化器 class 我们正在使用@KafkaListener 注释来接收消息。 我们注意到，通过在自定义反序列化器中添加日志语句，我们正在读取一批（批大小为 5）中的预期消息数，但是使用 @KafkaListener 注释的方法仅从该批中获取第一条 ...

使用反应式编程的微服务通信

[英]Microservice Communication using reactive programming

我有两个微服务（A 和 B）。 服务 B 从 UI 收到 HTTP 次请求。 根据某些条件，服务 B 需要来自只有服务 A 可以访问的数据库的数据。 所以我需要服务 B 和 A 之间的一些通信机制。所以服务 B 会在内部调用服务 A，从服务 A 的响应中检索一些字段，并最终将最终响应发送给客户端。 ...

以零停机时间将模式注册表从 VM 迁移到 k8s

[英]Migrate Schema Registry from VM to k8s with zero downtime

我想将 3 个 Schema Registry 实例从 VM（通过 Kafka 领导者选举 - 而不是 zookeeper）迁移到在 kube.netes 中运行的 docker 个容器，停机时间为零。 有没有办法检查哪些实例是模式注册表集群的一部分？ 我应该将 k8s 实例公开为每个 pod 的 ...

Kafka cp-server 在代理端的消息验证失败

[英]Kafka cp-server fails message validation on a broker side

我需要在经纪人方面验证消息。 我运行cp-server （仅运行cp-all-in-one组合文件）。 创建了一个主题将confluent.value.schema.validation设置为 true 注册了一个模式（JSON） 产生了一条消息它总是失败。 为什么验证失败？ 我应该更改配置吗？ 架 ...

kafka 在消费者中产生消息

[英]kafka produce messages in consumer

我有一个需要将消息传递到多层处理的应用程序。 我需要这样做，因为所有新消息都应该放入第一个通用主题中，以便可以对其进行处理以计算类型，然后将它们放入另一个主题中（以进行进一步处理），从现在开始相同key的消息，go自动直接转到第二个主题。 我打算为每一层创建多个主题。 消息首先 go 进入第一层并得 ...

使用 pyspark 从 Kafka Topic 读取 Json 消息

[英]Read Json message from Kafka Topic using pyspark

我正在尝试使用自定义模式使用火花流从 kafka 主题读取一条 json 消息，当我仅将 Cast 值用作字符串时，我可以看到数据即将到来。 但是当我使用模式时它不起作用。 数据是这样的： 我将架构用作： 我正在使用 function： output 仍然是 null。 ...

为什么Clickhouse Kafka引擎中一个队列表的两个Kafka broker不能同时工作？

[英]Why two Kafka brockers for one queue table in clickhouse Kafka engine do not work simultaneously?

我有非常简单的设置来将数据从 Kafka 插入到 Clickhouse 表。 我的数据stream如下： 但是这个表只从一个broker那里得到数据stream，第一个或者第二个。 但不是同时来自两个。 对于每个经纪人（如果它被用作唯一的经纪人），它都可以正常工作。 我尝试将队列表与一个经纪人一起 ...

我正在尝试使用 kafka connect 将我的本地服务器数据库（Mssql 数据库）连接到不同的数据库（Mssql 但不同的表）？

[英]I am trying to connect my local server database(Mssql Database) to different database (Mssql but different table) using kafka connect?

创建源连接。 创建接收器连接。 connector.class来自融合社区。 但我想要它来自 Apache Kafka 这是开源的我们正在搜索如何用 apache kafka one 替换该行。 ...

kafka 流：即使很少有记录转换抛出异常也发布/发送消息？

[英]kafka streams: publish/send messages even when few record transformation throw exceptions?

典型的 kafka 流应用程序流程如下（不包括所有步骤，如 props/serdes 等）- 现在，如果processValueAndDoRelatedStuff(String input)方法抛出错误，我不希望程序崩溃，但希望kafka只不将那个转换 output 发送到outputTopic ...

如何将路由指向特定的 lambda kafka 消费者？

[英]How to direct route to specific lambda kafka consumer?

我有一个用例，其中客户端实时向服务发送一堆事件。 我正在使用 kafka 进行事件摄取。 现在 kafka 生产者写入一个包含多个分区的主题。 多个 kafka lambda 消费者订阅了这个主题，它们在不同的消费者组中，以便他们可以读取所有分区。 每个 kafka lambda 消费者都有一些处 ...

Kafka 最佳实践 - 在记录反序列化之前应用重复数据删除

[英]Kafka best practicies - apply the deduplication before record deserialization

用例有一个上游系统通过 Kafka 生产数据批次（一个批次平均有 1000 万条记录）。 起始偏移量和预期记录数通过一个主题（控制），数据本身通过另一个主题（数据）。 生产批次时，某些记录可能会定期重复，从而使预期记录与控制主题上发送的记录不匹配。 每条记录都有唯一的 ID。 问题由于重复项未包含在 ...

如果核心数量多于 Kafka 分区数量，Spark 结构化流式传输是否会受益于动态分配？

[英]Will Spark structured streaming benefit from dynamic allocation if number of cores more than number of Kafka partitions?

假设我们有一个从 X 分区主题读取的应用程序，对数据进行一些过滤，然后使用结构化流查询将其保存到存储中（没有复杂的混洗逻辑，只是一些简单的转换）。 该应用程序是否会受益于动态分配功能，即在数据激增的情况下添加超过 X 个单核执行程序？ 我问这个，因为我主要使用 DStreams，其中有一个众所周知 ...

Spring 6: Spring 云 Stream Kafka - 替代@EnableBinding

[英]Spring 6: Spring Cloud Stream Kafka - Replacement for @EnableBinding

我正在阅读“Spring Microservices In Action (2021)”，因为我想温习一下微服务。 现在有了 Spring Boot 3，一些事情发生了变化。 书中提供了一个简单的示例，说明如何将消息推送到主题以及如何使用主题消息。 问题是：提供的示例不适用于 Spring Boo ...

PySpark 结构化流式读取Kafka到delta表

[英]PySpark structured streaming read Kafka to delta table

探索 PySpark 结构化流和数据块。 我想编写一个 spark structural streaming 作业来读取 kafka 主题中的所有数据并发布到增量表。 假设我使用的是最新版本并且 kafka 具有以下详细信息。 kafka 主题名称：ABC kafka 经纪人：localhost: ...

Quarkus：Smallrye Kafka 使用不同的 KEYS 和 PASSWORD 为不同的引导服务器配置通道

[英]Quarkus: Smallrye Kafka configure channels for distinct bootstrap servers using diferent KEYS and PASSWORD

我的目标是使用使用 SASL_SSL 的 jaas 配置使用不同的引导服务器在 2 个不同的通道中生成事件，但我无法设置通道以在引导服务器上正确进行身份验证。 我尝试了以下设置 使用此设置，我在通道初始化时收到错误。 初始设置使用默认的引导程序设置，并且在将 KAFKA 引入等式之前一直运行良好。 ...

使用 ksql 删除和重新创建 kafka 流时消息丢失

[英]Messages are lost on dropping and recreating kafka streams using ksql

我有一个与重新创建流和表相关的问题。 如果我们删除流/表并使用相同的查询重新创建它，即使我们在 ksql 服务器配置中将 ksql.streams.auto.offset.reset 设置为最早，也只会在相应的主题中出现新消息。 在将配置 ksql.streams.processing.guaran ...