堆栈内存溢出
cost 353 ms
Terraform 有条件地启用或禁用资源

[英]Terraform enable or disable a resource conditionally

我的要求是通过指定启用标志 true 或 false 来创建或删除资源（如果为 false，则应删除资源，如果为 true，则应创建资源） 请参考下面的代码——我在这里创建“融合主题”资源并使用 for_each 条件动态调用它。 Confluent主题创建 topic.tf 文件： 变量声明为： ...

发送 avro 模式和有效负载

[英]Sending avro schema along with payload

我想为 Kafka 生产者/消费者实现 avro 序列化器/反序列化器。 可以有多种场景 Writer schema 和 reader schema 是一样的，永远不会改变。 在这种情况下，无需将 avro 模式与有效负载一起发送。 在消费者端，我们可以使用阅读器模式本身来反序列化有效负载。 这篇文 ...

Kafka Stream 和 Java：如果符合特定条件，则将相同的 object 发送到多个主题

[英]Kafka Stream with Java: Send the same object to multiple topics if it matches certain criteria

任务：我们听一个 Kafka 主题。 处理后，我们希望看到三个不同的 output 主题中的消息，而同一消息可能 go 到多个 output 主题。 如何使用 Kafka-Streams model 这样的解复用器？ 我尝试使用： 因此，对于主题“output.xyz”和主题“output.abc” ...

Kafka 记录标头不会转发到更改日志主题

[英]Kafka record headers won’t be forwarded to changelog topics

为了 object 映射目的，我需要每个主题中的标题。 目前，当我将 header 添加到处理器中的记录时，header 将出现在目标 output 主题中，但不会出现在 state 商店使用的更新日志主题中。 如何将标头转发到每个派生的内部主题。 ...

Confluent 连接器任务失败

[英]Confluent connector tasks have failed

启动了 docker 容器 (cp-kafka-connect-base:7.0.1) 并安装了自我管理的连接器 (debezium-connector-mysql:latest)。 Docker 容器运行良好。 当我尝试如下配置连接器配置时 连接器创建但连接任务失败连接器日志 尝试添加一些额外的 ...

带有 REACTOR kafka 的 SpringBoot：增加 2CPUs pod 上的消息消耗吞吐量

[英]SpringBoot with REACTOR kafka : increase message consumption thorughput on a 2CPUs pod

请问一个关于带有 reactor kafka 的 SpringBoot 3 应用程序的小问题。 我有一个小型反应式 kafka 消费者应用程序，它使用来自 kafka 的消息并处理消息。 该应用程序正在使用一个主题the-topic ，该主题具有三个分区。 该应用程序是docker化的，出于资源消耗 ...

如何在 Spring 引导中检索 controller 内的 Kafka 消息？

[英]How can I retrieve Kafka messages inside a controller in Spring Boot?

生产者创建的消息都在按预期被消费。 问题是，我需要创建一个端点来检索来自消费者的最新消息。 有办法吗？ 像按需消费者？ 我找到了这篇 SO 帖子，但只是为了消耗最后的 N 条记录。 我想消费最新的而不关心偏移量。 Spring Kafka Consumer，倒回消费者偏移量到 go back ' ...

如何查看 apache Kafka 代理中的哪些分区？

[英]How can I see which partitions in the apache Kafka broker?

是否可以在Apache kafka中通过kafkacat命令查看broker中位于哪个分区？ 例如：代理 0 分区 1,2 经纪人 1 分区 0,1,2 非常感谢我使用 .\bin\win\kafkacat -L -b hostname:port 命令它显示了 BROKERS 和一个分区，但没有显 ...

在 Azure Databricks 上将 kafka 值二进制负载转换为字符串

[英]Converting a kafka value binary payload to string on Azure Databricks

我正在从 Azure Databricks 上的 Azure ADLS Gen2 存储帐户读取 Kafka json 文件。 我似乎无法将值二进制有效负载转换为字符串，以便我可以执行 from_json 转换。 我尝试了各种类型的转换，在所有情况下，原始二进制值都显示在我的最终转换中。 我试过... ...

有没有办法获得特定主题的一组客户的总数？

[英]Is there anyway to get total amount of a group client in specific topic?

先来了解一下（cmiiw），kafka中的一个topic被划分为partition每个partition被同组的clients消费。 哪个客户端消费到哪个分区取决于有多少客户端可用。 示例：我有 3 个客户属于同一组“shipping”（比如说客户 A、B、C） 我有一个名为“已验证”的主题并且有 ...

Spring启动时使用Kafka Testcontainer如何动态覆盖Bootstrap服务器的配置？

[英]How Do I Override the Bootstrap Servers' Configuration Dynamically when Using Kafka Testcontainers in Spring Boot?

我正在使用 Kafka Testcontainers 进行集成测试。 容器启动，并读取在 application.yml 中设置的引导服务器配置。 由于 Testcontainers 端口是动态创建的，我使用kafkaContainer.getBootstrapServers()来获取由测试容器创 ...

如何使用 Kafka Connect 将数据从源 Kafka 集群传输到目标 Kafka 集群？

[英]How to transfer data from source Kafka cluster to target Kafka cluster using Kafka Connect?

如标题中所述，我有一个用例，我想使用 Kafka 连接框架将数据从源 Kafka 主题（Cloudera Kafka 集群）复制到目标 Kafka 主题（AWS MSK Kafka 集群）。 我已经了解了一些可用选项，例如 KafkaCat Utility 和 Mirror Maker 2。但我很 ...

在应用程序启动时确定@KafkaListener 的 Kafka 主题的方法？

[英]Way to determine Kafka Topic for @KafkaListener on application startup?

我们有 5 个主题，我们希望有一个服务可以扩展到例如同一应用程序的 5 个实例。 这意味着我想动态地（例如通过 Redis 锁定或类似机制）确定哪个实例应该听什么主题。 我知道我们可以有 1 个主题，它有 5 个分区——并且同一消费者组中的每个节点都会选择一个分区。 此外，如果我们有单独部署的服务 ...

如何提高Kafka消费者的性能

[英]How to improve Kafka consumer performance

我有一个消费者应用程序，我想加快速度。 大部分时间消费者都在等待来自第三方系统的 http 响应，因此我无法继续处理队列中的其他消息并且延迟增加。 在这种情况下，提高性能的推荐方法是什么。 我的想法： 在不同的线程上创建多个消费者使用一批消息，运行 Parallel.ForEach 来处理它们然后提 ...

如何将 KafkaJS 导入 Svelte 页面？

[英]How to import KafkaJS into a Svelte page?

我已经尝试在 page.svelte 中导入我的 Kafka 库，但它抛出了一个错误，指出不允许在脚本中导入 Kafka。 后来发现我们可以通过在hooks.server.js中设置kafka import来导出kafka producer。 我在 hooks.server.js 中导入了 kaf ...

Microk8s Kafka 生产者连接失败

[英]Microk8s Kafka Producer Connection Failure

我正在尝试使用部署在 Microk8s 上的 Kafka，使用两个 Python 脚本创建一个简单的生产者和消费者。 但是，在运行 producer.py 脚本时，重复出现以下错误： 我相当有信心这个问题是由于没有正确配置监听器造成的，但到目前为止我还无法弄清楚我需要做些什么来修复它们，因为我认为我 ...

PySpark Docker环境下找不到数据源：kafka

[英]PySpark Failed to find data source: kafka in Docker environment

我正在使用 Docker 从 MySQL 通过 Debezium 通过 Kafka 和 Spark 收集流数据的原型。 我的 docker-compose.yml 文件链接如下： 我的 Jupyter notebook（也由同一个 docker-compose 服务）有以下 PySpark 代码， ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM