堆栈内存溢出
cost 231 ms
Kafka 在 cmd JAVA app 中阅读了整个主题

[英]Kafka read the whole topic in cmd JAVA app

我需要将 Kafka stream 与在 cronjob 中运行的 java 应用程序一起使用，并且每次都阅读整个主题。 不幸的是，出于某种原因，它提交了偏移量，并在下一次运行时读取了最后一个偏移量。 我尝试了各种方法，但不幸的是没有成功。 我的设置如下： 我用以下代码阅读了主题： 但是，它仍然从最 ...

Argo Events Kafka 触发器无法解析消息头以启用分布式跟踪

[英]Argo Events Kafka triggers cannot parse message headers to enable distributed tracing

TL;DR - Argo Events Kafka 事件源触发器当前不解析使用的 Kafka 消息的标头，这是启用分布式跟踪所必需的。 我提交了一个功能请求（在这里）——如果你遇到同样的问题，请投票，并且好奇是否有人想出了一个解决方法。 ============================= ...

如果每个主题只有一个分区，一组中的消费者是否会每个订阅一个主题？

[英]Will consumers in a group subscribe to one topic each, if there is a single partition per topic?

我正在使用 Debezium 记录我的数据库中的更改，Debezium 在主题中为我的数据库中存在的每个表生成更改事件。这些更改记录用于填充另一个数据库。 如果我将每个主题限制为只有 1 个分区，假设我有 4 个消费者在运行，当消费者订阅主题时，这 4 个消费者是否会在他们之间划分主题？ （他们 ...

如何设计SpringBoot Pagination Restful API with Kafka topic？

[英]How do I design SpringBoot Pagination Restful API with Kafka topic?

我正在尝试构建一个分页 restful API，它从 Kafka 主题中获取数据。 例如，在我的 Kafka 主题中，我有 10 亿条消息，其数据结构如下所示：class Record { String ID; JsonObject studentInfo; } 如何获取特定学 ...

Kafka 自动将字符串字段转换为 int

[英]Kafka automaticaly cast string field to int

我在使用包含数字作为字符串的字段发送消息时使用 Kafka 有一个奇怪的行为： 当我为我的主题生成此消息时，Kafka 会根据值将它们转换为 Int 或不转换。 这是在我的主题中生成后的结果： test3 和 test4 被转换为 Int 值，而不是保留为字符串。 我已经用 C# 客户端测试了它 ...

在 confluent connect CRD 类型中添加一个 jar 文件

[英]Add a jar file into confluent connect CRD type

我正在尝试使用在 kube.netes AKS 集群中运行的 Confluent 平台中的 JDBC 连接器。 我可以创建连接器，但遇到此错误： 我知道那是因为我没有将驱动程序安装到连接器文件夹中，但我不知道如何将其插入正确的 position。 这就是我创建 Kafka Connect 的方式： ...

反序列化触发kafka流default.deserialization.exception.handler时有什么样的异常？

[英]What kind of exceptions while deserializing triggers kafka streams default.deserialization.exception.handler?

卡夫卡流配置： 例如我有自定义解串器实现： 我的假设是否正确——如果反deserialize化方法中反序列化过程中发生的任何运行时异常将被默认的反序列化异常处理程序或仅某种特定于 Kafka 的异常处理程序缓存？ 我没有在文档中找到任何解释。 我必须确保在反序列化 stream 期间发生的任何事情 ...

使用新连接器扩展的 confluentinc/cp-server-connect docker 图像时，如何在重新启动之间保持连接器的配置

[英]How can I keep connector's configuration between restarts when using confluentinc/cp-server-connect docker image extended with new connector

我正在使用带有 elasticsearch 接收器连接器（ https ://www.confluent.io/hub/confluentinc /kafka-connect- elasticsearch ) 我添加了 dockerfile 并重建了图像，它工作得很好。 我正在使用 http 请求配 ...

Kafka Consumer 不消费来自所有分区的消息

[英]Kafka Consumer not consuming messages from all partitions

我注意到我的系统发生了一些奇怪的事情。 因此，我使用 Kafka 在不同系统之间发送和接收消息。 我有大约 6 或 7 个主题，每个主题有 10 个分区。 我有一个外部系统正在发送有关我的 Kafka 主题的消息。 因此，此外部系统最初会将消息发送到主题，例如。 “XYZ”并将等待服务器的响应。 ...

使用 Kafka 发送和接收信息

[英]Sending and receiving information with Kafka

是否可以像api那样使用kafka？ 意思是发送消息，等待收到回复。 我刚开始使用Kafka编程，我有一个关于发送消息和接收处理结果的问题。 ...

我们需要 Kafka SASL_SSL 证书吗？

[英]Do we need Certificate for Kafka SASL_SSL?

我对 SASL_SSL 感到困惑。 我们是否需要为 Kafka 生产者应用程序配置 SSL 证书？ 还是只是用户名和密码？ SASL_SSL 和 SASL_PLAINTEXT 有什么区别？ 我正在从一个普通的 java 应用程序向一个主题发送消息。 ...

Kafka 写入磁盘日志时间

[英]Kafka writing in disk logs time

在 Kafka 上运行一些性能测试，我们在生产者中有很糟糕的延迟。 检查 kafka 代理日志我可以看到这个日志 [主题] 在 860 毫秒内用 62 个生产者 ID 在偏移量 331258 处写入生产者快照。 (kafka.utils.Logging) 我不知道这是否是在向生产者确认（ack=a ...

Spring KafkaStreams 仅在测试中不接收消息

[英]Spring KafkaStreams not receiving messages only in tests

我对 Spring 和 KafkaStreams 有疑问，但仅限于测试。 测试如下所示 并且在此测试消息“received_from_test”之后未打印。 但是当我在我的应用程序中创建类似的 stream 时，例如如下所示： 打印消息“received_from_app”。 也许有人可以帮助我并告 ...

了解 Kafka 中 max.in.flight.request 属性的用例

[英]Understanding use case for max.in.flight.request property in Kafka

我正在构建一个 Spring Boot 消费者-生产者项目，其中 Kafka 作为两个微服务之间的中间人。 该项目的主题是一场篮球比赛。 这里是一个小的state机器图，里面显示了事件。 还会有更多不同的事件，这只是一个片段。 开始活动： 点事件： 协助事件： 跳跃事件： 结束活动： 这里要注意的 ...

ksqldb 不会故障转移到备用模式注册表

[英]ksqldb not failing over to standby schema registry

我正在尝试测试 kafka 模式注册表的故障转移场景。 我跨越了两个架构注册表 docker 容器（主容器和备用容器），并且我有一个 KSQLDB 服务器在指向主架构注册表的 docker 容器中运行。 源 kafka 连接器将数据从数据库流式传输到 kafka 主题。 ksqlDB 服务器能够使 ...

apache Kafka 3.X集群是否需要已经启动的zookeeper

[英]whether apache Kafka 3.X cluster requires already started zookeeper or not

我正在使用一个由三个 kafka 节点组成的 kafka 集群，它在已经启动并运行的节点的 zookeeper 集群上运行。 Docker-compose 与 kafka docker 映像版本 2.2.0 和 zookeeper docker 映像版本 3.5 一起使用。 现在我的计划是使用k ...

KAFKA ListenableFuture spring-如何基于 onsuccess 方法 future.addCallback 向客户端返回 object 的响应，因为 onsuccess 是无效的

[英]KAFKA ListenableFuture spring- how to return client a response with object based on onsuccess method future.addCallback as onsuccess is void

public class Test { public StudentDto publishStudentDto { ListenableFuture<SendResult<String, Student>> future = this.st ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM