标签[apache-kafka] - 堆栈内存溢出

[英]AKHQ: Couldn't find any clusters on your configuration file, please ensure that the configuration file is loaded correctly

我在 Kube.netes 中的 Kafka 引导程序服务器位于hm-kafka-kafka-bootstrap.hm-kafka.svc:9092 。我正在尝试在我的 Kube.netes 集群中部署AKHQ 。这是我的步骤：helm upgrade \ akhq \ akhq \ ...

Flink在java中使用多种数据结构

[英]Flink using multiple structures of data in java

我正在从 Java 中的 kafka 读取数据，以在 Apache Flink 中执行一些处理并接收结果。我有 kafka 主题topic_a ，其中有一些数据，例如 {name: "abc", age: 20} 和一些数据，例如 {pin: 111, number: 999999, addres ...

带有 docker 的 KAFKA：集群离线但容器根据“docker ps -a”启动

[英]KAFKA with docker : cluster offline but container are up according "to docker ps -a"

我是 kafka 的新手，我正在尝试做一些简单的事情。我用 docker 运行 kafka。这是我的 docker-compose：如您所见，我将 My IP 作为KAFKA_ADVERTISED_HOST_NAMEE的 127.0.0.1 然后我这样做： docker-compose up - ...

如何将消息分发到kafka connect中由`offset.storage.topic`定义的主题中的所有分区

[英]how to distribute messages to all partitions in topic defined by `offset.storage.topic` in kafka connect

我已经使用从docker pull debezium/connect的 docker 图像部署了 debezium 在https://hub.docker.com/r/debezium/connect提供的文档中，环境变量OFFSET_STORAGE_TOPIC之一的描述如下：运行 Kafka C ...

Silverback 消息未发布到正确的 Kafka 主题

[英]Silverback messages not published to the correct Kafka Topic

我正在使用库Silverback和 Apache Kafka 作为消息代理。我有两个消息类：发布到“动物”Kafka 主题/从“动物”主题消费的动物（基类） Dog（扩展 Animal，但没有任何附加属性）发布到“dogs”Kafka 主题/从中消费当我发布 Dog 类型的消息时，Silver ...

Kafka 错误序列化 Avro 消息 Caused by: java.net.SocketException: Connection reset

[英]Kafka Error serializing Avro message Caused by: java.net.SocketException: Connection reset

我正在尝试 Kafka 流，设法将 stream 普通字符串从一个主题转移到另一个主题，但现在我想将其序列化为 AVRO 消息。我在 inte.net 上四处寻找解决方案，但没有找到，所以这是我最后的希望。这是我的代码当我运行它时出现以下错误：不知道出了什么问题，我搜索了多个网站以找到解决 ...

让 NestJs Kafka 与 Avro 一起工作的例子？

[英]Example to make NestJs Kafka work with Avro?

我正在寻找一个将 NestJS Kafka 微服务与 Avro 架构一起使用的示例。到目前为止，消费者正在使用 Json Object，但我们正在寻找以 Avro 作为模式类型的模式注册表。卡夫卡配置：消费者： ...

Kafka Connect 还是 Kafka Streams？

[英]Kafka Connect or Kafka Streams?

我需要从主题中读取消息，根据提供的配置丰富消息（丰富所需的数据来自外部系统），并将丰富的消息发布到 output 主题。关于 source 和 output 主题的消息应该是 Avro 格式。这是自定义 Kafka 连接器的好用例还是我应该使用 Kafka Streams？为什么我要考虑 K ...

Kafka Streams - 禁用内部主题创建

[英]Kafka Streams - disable internal topic creation

我在一个必须使用共享 Kafka 集群的组织工作。由于公司内部政策，我们用于身份验证的帐户仅具有分配的读/写权限。我们无法请求主题创建权限。要创建主题，我们需要遵循入职程序并预先知道主题名称。正如我们所知，Kafka Streams 创建内部主题来持久化流的 state。有没有办法禁用容错 ...

将 json 记录从 dataframe 列写入 Spark Streaming 中的 S3

[英]writing json record from dataframe column to S3 in spark streaming

我有一个以下面格式显示的 drataframe，其中记录为 json 数据（字符串格式）从 kafka 主题读取我只需要将 dataframe 中存在的 json 记录写入 S3。有什么办法可以解析记录并将 json 转换为 dataframe 并写入 s3？或提供的任何其他解决方案将有所帮 ...

通过 Fluentd 访问列表项

[英]access list item by Fluentd

我正在处理 Fluentd 的 yaml 文件配置。输入数据来自 kafka 作为 json 文件。其中一些是列表，例如： { a:[ a1:"1", a2:"2", ... ], b:"10" } Fluentd 如何访问这个 json 的一系列列表项（例如前 10 项）。我写了这个配置以访 ...

Spring Kafka：3 个应用程序 setConcurrency(1) 与 1 个应用程序 setConcurrency(3) 之间的区别

[英]Spring Kafka: Difference between 3 apps setConcurrency(1) vs 1 app setConcurrency(3)

关于卡夫卡与 Spring 卡夫卡并发的小问题请问。我有一个 Kafka 主题theimportanttopic ，许多消息都通过它发送。事实上，这个 Kafka 主题有三个分区。（称他们为theimportanttopic-0 theimportanttopic-1 theimportan ...

在不同的服务器上为 Kafka 集群运行 provectus/kafka-ui

[英]Run provectus/kafka-ui for a Kafka cluster on a different Server

我在尝试运行 provectus/kafka-ui docker 容器时遇到了一些麻烦。我有一组服务器都在同一个 internal.network 上运行。在其中三台服务器上实现了 Kafka 集群（Zookeeper 和 Broker）。 Broker 的结构如下所示：问题是没有 Doc ...

为什么每当我尝试运行 DataStax Kafka Connector 时 Cassandra 都会崩溃？

[英]Why is Cassandra crashing whenever I try to run DataStax Kafka Connector?

目标：我的目标是使用 Kafka 使用 Kafka Connect 将消息发送到 Cassandra 接收器。我已经部署了 Kafka 和 Cassandra，我能够单独使用它们中的每一个——我可以毫无问题地将数据发送到 Kafka，使用生产者传递消息，并使用消费者来消费它们。我使用 cqls ...

Kafka Rest Proxy Api 消息分布不均匀

[英]Kafka Rest Proxy Api Uneven Distribution of messages

我有 2 个分区和 avro 格式的消息。我通过 kafka rest 代理 api 发送消息。我使用消息的密钥。键是一个字符串。例如，有我的钥匙： 41:46-300、41:45-300、41:44-300、41:43-300、41:42-300。但是消息分布不均匀。在分区 0 中，有 ...

Kafka 复制因子 JMX

[英]Kafka Replication factor JMX

当我复制我的消息时，我正在尝试收集一些 Kafka Telemetry 。当我在 3 个实例中复制记录时，我认为我的瓶颈在 .network 中RF=3 我需要数据来支持我的理论，那么我们是否有任何JMX数据可以告诉我在Grafana中在三台机器中复制一条记录需要多少时间。问候。 ...

Spark Streaming HUDI HoodieException: Config conflict(key current value existing value): RecordKey:

[英]Spark Streaming HUDI HoodieException: Config conflict(key current value existing value): RecordKey:

当我使用 spark 连接到 kafka 主题并创建 dataframe 然后存储到 Hudi 中时：我收到以下异常：将所有kafka数据存储到Hudi表中 ...

我应该有一个专用的（内部）api 端点来生成 kafka 事件吗？

[英]Should i have a dedicated (internal) api endpoint for producing kafka events?

这比让需要发出它的人直接完成 Kafka 生产者事件更值得推荐吗？ ...

Kafka 消费者实现在 Python 中不起作用

[英]Kafka consumer implementation not working in Python

第一次使用 Kafka，我遇到了一个问题。我的消费者有以下实现：凭据应正确实施的位置。我收到了订阅该主题的消息，没有错误，但是没有生成消息，尽管我确定该主题上有要使用的消息。我在这里缺少一些必要的配置吗？ ...

新的flink Kafka consumer（KafkaSource）能否从旧的FlinkKafkaConsumer的Savepoint/checkpoint开始？

[英]Can new flink Kafka consumer (KafkaSource) start from the old FlinkKafkaConsumer's Savepoint/checkpoint?

我有一份工作正在与旧的 flink Kafka 消费者 ( FlinkKafkaConsumer ) 一起运行，现在我想将它迁移到KafkaSource 。但我不确定这次迁移会产生什么影响。我希望我的工作从旧的 FlinkKafkaConsumer 最新成功的检查点开始，这可能吗？如果不可能 ...