堆栈内存溢出
cost 325 ms
Flink在java中使用多种数据结构

[英]Flink using multiple structures of data in java

我正在从 Java 中的 kafka 读取数据，以在 Apache Flink 中执行一些处理并接收结果。 我有 kafka 主题topic_a ，其中有一些数据，例如 {name: "abc", age: 20} 和一些数据，例如 {pin: 111, number: 999999, addres ...

如何将消息分发到kafka connect中由`offset.storage.topic`定义的主题中的所有分区

[英]how to distribute messages to all partitions in topic defined by `offset.storage.topic` in kafka connect

我已经使用从docker pull debezium/connect的 docker 图像部署了 debezium 在https://hub.docker.com/r/debezium/connect提供的文档中，环境变量OFFSET_STORAGE_TOPIC之一的描述如下： 运行 Kafka C ...

Silverback 消息未发布到正确的 Kafka 主题

[英]Silverback messages not published to the correct Kafka Topic

我正在使用库Silverback和 Apache Kafka 作为消息代理。 我有两个消息类： 发布到“动物”Kafka 主题/从“动物”主题消费的动物（基类） Dog（扩展 Animal，但没有任何附加属性）发布到“dogs”Kafka 主题/从中消费当我发布 Dog 类型的消息时，Silver ...

Kafka 错误序列化 Avro 消息 Caused by: java.net.SocketException: Connection reset

[英]Kafka Error serializing Avro message Caused by: java.net.SocketException: Connection reset

我正在尝试 Kafka 流，设法将 stream 普通字符串从一个主题转移到另一个主题，但现在我想将其序列化为 AVRO 消息。 我在 inte.net 上四处寻找解决方案，但没有找到，所以这是我最后的希望。 这是我的代码 当我运行它时出现以下错误： 不知道出了什么问题，我搜索了多个网站以找到解决 ...

Kafka Connect 还是 Kafka Streams？

[英]Kafka Connect or Kafka Streams?

我需要从主题中读取消息，根据提供的配置丰富消息（丰富所需的数据来自外部系统），并将丰富的消息发布到 output 主题。 关于 source 和 output 主题的消息应该是 Avro 格式。 这是自定义 Kafka 连接器的好用例还是我应该使用 Kafka Streams？ 为什么我要考虑 K ...

Kafka Streams - 禁用内部主题创建

[英]Kafka Streams - disable internal topic creation

我在一个必须使用共享 Kafka 集群的组织工作。 由于公司内部政策，我们用于身份验证的帐户仅具有分配的读/写权限。 我们无法请求主题创建权限。 要创建主题，我们需要遵循入职程序并预先知道主题名称。 正如我们所知，Kafka Streams 创建内部主题来持久化流的 state。 有没有办法禁用容错 ...

将 json 记录从 dataframe 列写入 Spark Streaming 中的 S3

[英]writing json record from dataframe column to S3 in spark streaming

我有一个以下面格式显示的 drataframe，其中记录为 json 数据（字符串格式）从 kafka 主题读取 我只需要将 dataframe 中存在的 json 记录写入 S3。 有什么办法可以解析记录并将 json 转换为 dataframe 并写入 s3？ 或提供的任何其他解决方案将有所帮 ...

通过 Fluentd 访问列表项

[英]access list item by Fluentd

我正在处理 Fluentd 的 yaml 文件配置。 输入数据来自 kafka 作为 json 文件。 其中一些是列表，例如： { a:[ a1:"1", a2:"2", ... ], b:"10" } Fluentd 如何访问这个 json 的一系列列表项（例如前 10 项）。我写了这个配置以访 ...

Spring Kafka：3 个应用程序 setConcurrency(1) 与 1 个应用程序 setConcurrency(3) 之间的区别

[英]Spring Kafka: Difference between 3 apps setConcurrency(1) vs 1 app setConcurrency(3)

关于卡夫卡与 Spring 卡夫卡并发的小问题请问。 我有一个 Kafka 主题theimportanttopic ，许多消息都通过它发送。 事实上，这个 Kafka 主题有三个分区。 （称他们为theimportanttopic-0 theimportanttopic-1 theimportan ...

在不同的服务器上为 Kafka 集群运行 provectus/kafka-ui

[英]Run provectus/kafka-ui for a Kafka cluster on a different Server

我在尝试运行 provectus/kafka-ui docker 容器时遇到了一些麻烦。 我有一组服务器都在同一个 internal.network 上运行。 在其中三台服务器上实现了 Kafka 集群（Zookeeper 和 Broker）。 Broker 的结构如下所示： 问题是没有 Doc ...

为什么每当我尝试运行 DataStax Kafka Connector 时 Cassandra 都会崩溃？

[英]Why is Cassandra crashing whenever I try to run DataStax Kafka Connector?

目标：我的目标是使用 Kafka 使用 Kafka Connect 将消息发送到 Cassandra 接收器。 我已经部署了 Kafka 和 Cassandra，我能够单独使用它们中的每一个——我可以毫无问题地将数据发送到 Kafka，使用生产者传递消息，并使用消费者来消费它们。 我使用 cqls ...

Kafka Rest Proxy Api 消息分布不均匀

[英]Kafka Rest Proxy Api Uneven Distribution of messages

我有 2 个分区和 avro 格式的消息。 我通过 kafka rest 代理 api 发送消息。我使用消息的密钥。 键是一个字符串。 例如，有我的钥匙： 41:46-300、41:45-300、41:44-300、41:43-300、41:42-300。 但是消息分布不均匀。 在分区 0 中，有 ...

Kafka 复制因子 JMX

[英]Kafka Replication factor JMX

当我复制我的消息时，我正在尝试收集一些 Kafka Telemetry 。 当我在 3 个实例中复制记录时，我认为我的瓶颈在 .network 中RF=3 我需要数据来支持我的理论，那么我们是否有任何JMX数据可以告诉我在Grafana中在三台机器中复制一条记录需要多少时间。 问候。 ...

Kafka 消费者实现在 Python 中不起作用

[英]Kafka consumer implementation not working in Python

第一次使用 Kafka，我遇到了一个问题。 我的消费者有以下实现： 凭据应正确实施的位置。 我收到了订阅该主题的消息，没有错误，但是没有生成消息，尽管我确定该主题上有要使用的消息。 我在这里缺少一些必要的配置吗？ ...

新的flink Kafka consumer（KafkaSource）能否从旧的FlinkKafkaConsumer的Savepoint/checkpoint开始？

[英]Can new flink Kafka consumer (KafkaSource) start from the old FlinkKafkaConsumer's Savepoint/checkpoint?

我有一份工作正在与旧的 flink Kafka 消费者 ( FlinkKafkaConsumer ) 一起运行，现在我想将它迁移到KafkaSource 。 但我不确定这次迁移会产生什么影响。 我希望我的工作从旧的 FlinkKafkaConsumer 最新成功的检查点开始，这可能吗？ 如果不可能 ...

如何在没有架构注册表的情况下使用 AvroSerializer

[英]How to use AvroSerializer without a schema registry

我正在尝试编写一个单元测试来验证向 Avro 模式添加新属性是否向后兼容。 首先我把Avro generated.cs model 保存为MyModelOld.cs 并将里面的class 重命名为MyModelOld。 然后我使用新属性针对 avsc 文件重新运行 Avro gen。 我想做的是： ...


排序:
质量:
 
粤ICP备18138465号  © 2020-2023 STACKOOM.COM