Flink 与 Kafka 并行度优化

[英]Flink and Kafka parallelism optimization

我在 Flink 中有一个项目需要优化。 我已将默认并行度和插槽设置为 4（服务器有 4 个内核）。 这是我运行任务的配置，但无论是否使用并行处理，处理时间都是一样的。 在我的测试中，处理来自具有 5 个分区的 Kafka 队列的 30MB 大约需要 3 分钟。 查看 Flink 仪表板，我看到 4 ...

全程控制在Apache Kafka

[英]Control throughout in Apache Kafka

我想运行测试来测量不同框架的延迟和吞吐量。 我使用从 txt 文件读取的脚本向 kafka 主题发送消息。 此框架使用来自此输入主题的事件并生成一个 output 主题。 我对此有两个问题： A) 假设我想每秒发送 400 个事件。 我该如何控制它？ 它是由发送数据的脚本控制的，还是可以在 Ka ...

如果消息没有被其他服务处理，有没有办法阻止 apache kafka 消费者读取消息

[英]Is there a way to stop apache kafka consumer to read messages if the messages are not being processed by other service

我在我的项目中使用 apache kafka。 所以，我有一个生产者正在为特定主题生产消息。 consumer 是另一个微服务，它从 kafka 读取消息并将该消息传递给另一个微服务（比如数据） 现在，问题是。 .. 如果最终的微服务（数据）不工作并且消费者正在尝试将消息发送到该服务。 它应该停 ...

我可以用与普通数据库类似的方式写入 KTable 吗？

[英]Can I write to a KTable in a similar way as to normal databases?

使用 Kafka Streams 时，我知道可以通过对 stream 进行操作并以某种方式转换/聚合其中的数据来创建 KTable。 但我想知道是否有可能以更传统的方式使用它，例如在关系数据库中。 在关系数据库中，您可以拥有一个允许保存到表的存储库：class MyRepository { p ...

如何使用 Kafka Schema Registry 在 KSQL 中创建用户表？

[英]How to use Kafka Schema Registry for create a users table in KSQL?

我有 JSON 数据的 kafka 主题。 有一个名为 users 的主题，它从 mysql 表中捕获数据更改。 如何使用 confluent schema registry 在 ksql 中创建一个带有主键 user_id 的用户表，该表将与其他具有连接的表一起使用？ 当前 Kafka 用户主题 ...

消费者使用特定的键处理所有相关消息

[英]consumers process all the related messages with a specific key

我需要让 Kafka 消费者同时处理每个分区中具有相同 ID 的所有消息。 例如，考虑一个主题包含所有不同类型的订单，并且有多个订阅该主题的消费者实例。 如何运行消费者来处理每个分区中具有相同 Id 的所有消息？ 因为当用那个Id生产订单时，虽然Kafka保证所有相同的ID go到同一个分区，但是每 ...

Apache Flink Streaming Job：部署模式

[英]Apache Flink Streaming Job: deployment patterns

我们想将 Apache Flink 用于流作业——从一个 Kafka 主题读取并写入另一个。 基础设施将部署到 Kube.netes。 我想在任何 PR 合并到master分支时重新启动作业。 因此，我想知道Flink是否保证重新提交作业会从上次处理的消息开始继续数据stream？ 因为最重要的工作 ...

正确的密钥序列化器用于 kafka avro

[英]Correct key-serializer to use for kafka avro

如果我在我的key-serializer属性 yml 文件中使用org.apache.kafka.common.serialization.StringSerializer ，在 Kafka 中发布的密钥是正确的，但我收到 SerializationException 错误： Error dese ...

Azure Function中实现Kafka Producer的预期问题和限制

[英]Expected problems and limitations of implementing Kafka Producer in Azure Function

我有一个相当高级的架构问题，可能没有 100% 明确的答案。 我们目前正在考虑在 Azure 函数中实现 Kafka Producer，而不是在某个容器中运行专用的 Producer 客户端。 Azure Function 将由包含有效负载的某些 REST API 调用调用。 替代解决方案需要类似 ...

kafka _schemas 主题删除后，在没有 cleanup.policy 的情况下创建

[英]kafka _schemas topic when deleted, gets created without cleanup.policy

我使用的是 Confluent Platform 版本 5.3.2，在此我可以看到 _schemas 主题是使用 cleanup.policy 创建的，作为紧凑。 没有这个，模式注册表将不会启动。 现在，如果我删除 _schemas topi，它将自动创建，但没有 cleanup.policy，因此 ...

enable_auto_commit=False，但仍然会自动提交偏移量

[英]enable_auto_commit=False, but still offsets are committed automatically

我正在使用kafka-python==2.0.2 ，并禁用了auto_commit但如果我不通过代码提交，偏移量会自动提交在下面的代码中，即使我注释掉self.consumer.commit_async(callback=.... ，偏移量仍在提交class KafkaMessageConsumer ...

acks=1 的语义 min.insync.replicas=1 retries=10

[英]Semantics of acks=1 min.insync.replicas=1 retries=10

我正在努力弄清楚具有此生产者配置的系统提供了什么样的保证 前两个参数基本上给我at-most-once保证，因为领导者可以写入本地存储，回复生产者，然后在复制到追随者之前死亡。 这部分很清楚，但是retries意味着当生产者和集群之间存在网络问题时，领导者可能会写入本地磁盘并且无法向生产者确认这一 ...

KafkaMagic 工具，用于搜索主题中字段不是 null 的消息

[英]KafkaMagic tool to search for messages in topic with field that is not null

需要使用 KafkaMagic 在 kafka 主题中查找具有现有属性的消息，即不是 null。但是 javascript 查询失败： 我的过滤器查询： 我假设如果消息中不存在 source_bar_code，则它无法检查它是否为 null。 ...

如何在spark streaming中解析动态的json格式的kafka消息

[英]How to parse dynamic json formatted kafka message in spark streaming

我正在实施一个 Spark Structured Streaming 作业，我正在使用来自 Kafka 的 JSON 格式的消息。 由于 json 数据是动态的，我没有在from_json function 中使用的架构信息来加载 json 数据以激发 dataframe 下面是我用来从 kafka ...

GCP - Bigquery 到 Kafka 作为流

[英]GCP - Bigquery to Kafka as streaming

我有一个在 gcp 中运行的数据流应用程序（java），能够从 bigquery 表读取数据并写入 Kafka。 但是应用程序以批处理模式运行，我希望将应用程序设置为 stream 以从 bigquery 表连续读取数据并写入 kafka 主题。 Bigquery 表：带有 insert_time ...

BigQuery Sink Connector - 自动创建表出错

[英]BigQuery Sink Connector - Auto create table gives error

我有一个具有以下属性的 BQ 接收器连接器。{ "name": "bq-sink", "config": { "connector.class": "com.wepay.kafka.connect.bigquery.BigQuerySinkConnector", ...

Kafka 作为读取流源总是在第一次迭代中返回 0 条消息

[英]Kafka as readstream source always returns 0 messages in the first iteration

我有一个 Structured Streaming 作业，它将 Kafka 作为源，将 Delta 作为接收器。 每个批次都将在foreachBatch中处理。 我面临的问题是我需要将此结构化流配置为仅触发一次，但在初始运行中，Kafka 始终不返回任何记录。 这就是我配置结构化流处理的方式： 我尝 ...

Debezium MYSQL 连接器在初始快照期间超时

[英]Debezium MYSQL Connector Timing out during initial snapshot

我们已经在 Kafka Connect 上部署了 Debezium MYSQL 源连接器，以连接来自 MYSQL 表的 stream 数据。 连接器适用于非常大的表（3400 万条记录）。 问题在于这张表，其中插入和更新每秒发生一次，并且大约有。 2000 万条记录。 Debezium 连接器在 ...

FlinkKafkaConsumer / KafkaSource 与 AWS Glue Schema Registry 或 Confluent Schema Registry

[英]FlinkKafkaConsumer / KafkaSource with AWS Glue Schema Registry or Confluent Schema Registry

我正在尝试编写一个 Flink 流应用程序，它有一个 KafkaSource 来读取一个主题，该主题具有为其数据定义的 AVRO 模式。 我想知道在这种情况下模式的自动缓存在本地是如何工作的，类似于此处的 Confluent 文档。 基本上，用例是消费者不应该事先知道模式。 实例化消费者后，模式注 ...

Kafka 3.3.1 Active/Active 消费者和生产者

[英]Kafka 3.3.1 Active/Active consumers and producers

赏金将在 5 天后到期。 此问题的答案有资格获得+150声望赏金。 user1578872正在寻找规范的答案。 我们有 2 个不同的 kafka 集群，每个集群有 10 个代理，每个集群都有自己的 Zookeeper 集群。 我们还设置了 MirrorMaker 2 以在集群之间同步数据。 对于 ...