标签[apache-kafka]

Apache Kafka是一个分布式流平台,旨在存储和处理高吞吐量数据流。

0
0回复
14

无法按需读取Kafka的记录

我正在使用生产者将数据推送到kafka队列。 然后,我需要按需使用/读取数据,基本上,我希望当启动REST API时,我应该能够从kafka中读取一条记录并返回。 我不希望消费者在数据到达
0
1回复
08

如何使用Python confluent_kafka管理员NewTopic * args或** kwargs来微调主题配置

如何使用Python confluent_kafka管理员NewTopic * args或** kwargs来微调主题配置? 这是我发现的基座字符串: 在源代码中,我找到了c文件代码
0
0回复
15

基于SASL_SSL的Kafka Java客户端,忽略信任库的配置并采用默认证书

我尝试使用默认证书进行握手的使用者,而忽略了Config中定义的证书,出了什么问题? 尝试使用邮件时,它正在使用默认证书并引发SSL握手错误。 请提出建议,我如何才能忽略默认证书,并
0
0回复
14

如何为卡夫卡消费群生成唯一的ID?

我有一个.NET Core Api ,我希望能够接受HTTP请求并将请求者订阅多个Kafka主题。 阅读Kafka文档,我发现对于给定的主题,多个使用者接收同一数据(唯一的说一个分区/主题)
0
0回复
08

KTable-KStream LeftJoin影响性能。 有什么警示吗

我有一个用例,其中我收到有关某个主题的推文,而有关其他主题的用户详细信息。 我需要从用户详细信息中找到用户名,并将其设置为tweets。 使用以下代码,我可以获得预期的结果。 但是,如
0
1回复
17

属性文件中有关num.partitions的行为

我发现num.partitions的值是创建自动主题时整个kafka群集上的分区号。 我在自己的机器上通过自己的server.properties(均为num.partitons = 2)启
-1
1回复
17

如何强制删除Kafka主题?

我们有一个主题,即使发出kafka-topics'delete'命令,它也不会消失。 它只是说“ TOPIC.ABC-标记为删除”。 在所有代理上,此属性'delete.topic.enabl
0
1回复
09

Spring-Kafka中死信处理程序的KafkaTemplate

我需要为DeadLetterPublishingRecoverer使用单独的KafkaTemplate吗? 我有一个用于将消息发送到Kafka的KafkaTemplate,然后有一个带有Se
1
1回复
31

如何用消费者的热情衡量卡夫卡话题的滞后?

我们有一个使用kafka作为输出的spark batch应用程序。 使用星火时,有没有办法监测卡夫卡消费者群体的滞后? 我们检查了spark文档,发现spark总是创建一个随机的groupId
0
0回复
14

Spring Boot测试Kafka

我正在使用Spring Boot版本2.1.8.RELEASE,但是我有这个问题: 请问您有解决方案吗?
0
1回复
18

ConcurrentMessageListenerContainer减少分区存在时的并发计数

我有一个Spring Boot应用程序,用于向kafka生成消息。 该应用程序每天在6个实例上以每天1000万个请求的高流量运行。 我也有一个春季启动kafka消费者应用程序。 但是此应用程
0
0回复
06

在单词计数应用程序的上下文中,Kafka KTable中的单词计数以某个随机值开头

在Kafka Streams Wordcount应用程序中,我按关键字对传入记录进行分组,并将计数存储在Materialized KTable中: 我正在使用InteractiveQuer
0
0回复
09

Kafka服务器无法以KAFKA SASL OAUTH启动

在使用SASL设置kafka时,我需要帮助。以下是配置列表。 生产者似乎工作正常,并且缺少对zookeeper / kafka服务器配置的某些配置。 有人可以帮我配置Zookeeper
0
0回复
06

系统空闲时,将触发将主题分区重新分配给使用者组的操作

我们一直在为生产kafka集群使用apache-kafka版本0.10.0.1。 而且,我们在日志中看到了一种模式,即使使用者数量或分区数量没有变化,也可以重新分配分区。 由于大多数消费者闲置
0
1回复
25

WSO2无法从Kafka主题接收数据

我运行的是WSO2流处理器代码,其中有6个不同的Kafka主题,分别为@source和6个Mysql Database连接。 我可以接收5个主题中的一个数据,但一个主题可以接收数据,但是如果我
0
2回复
19

如何抑制Spring Cloud Kafka Streams中的窗口聚合结果?

我在Spring Cloud项目中使用Kafka-streams-binder。 Kafka流应用程序使用6分钟的滑动窗口来汇总结果并分析模式。 但是问题在于聚合操作正在生成重复结果。
1
2回复
31

如何在同一主题中创建多个kafka消费者组

以下是必需的方案。 主题1有6个分区,现在我想创建3个消费者组cg1,cg2和cg3并像这样映射它(cg1-0,1; cg2-2,3; cg3-4,5)。 我如何使用kafka-conso
0
0回复
22

带有Kafka-Go和证书的Golang TLS。 没联系

我需要使用信任库和密钥库与我的客户端建立TLS连接。 我的商店采用P12格式。 我的密钥库只有一个私钥和一个公钥。 我的Truststore只有一个群集证书。 我的问题是,我没有与ss
-1
0回复
27

事件驱动的应用程序的体系结构设计

已关闭 。 这个问题需要更加集中 。 它当前不接受答案。
1
0回复
25

Kafka Streams多个活页夹配置不起作用

我试图在同一应用程序中使用两个Kafka Streams活页夹,但是我做错了,因为我无法使用具有不同applicationId的第二个活页夹的配置。 application.yml 第

1 2 3 4 5 6 7 8 9 10 下一页