Kafka Source JDBC 连接器-微批处理
[英]Kafka Source JDBC Connector - Micro-batching
问题描述
作为 POC 的一部分，我有一个 Kafka JDBC Source Connector 任务，它基本上读取 MySQL 表的所有内容并将记录转储到 Kafka 主题中。
该表仅包含 2 条记录，并且我的 batch.max.rows 值为 2。当任务以“批量”模式运行时，我在 kafka 主题中看到 2 条单独的 JSON 记录。 如何配置连接器以插入 1 个 JSON 记录，其中包含一个包含这 2 个记录的 JSON 数组。 最终没有。 发布到 kafka 主题的消息数为 1 而不是 2。
1 个解决方案
解决方案1
2 已采纳 2021-01-07 19:34:02
每个数据库行都将成为唯一的 Kafka 记录。
如果您想加入 / window 记录，那么您将使用 Stream 处理器
Kafka Connect：JDBC源连接器：创建具有多个分区的主题
[英]Kafka Connect : JDBC Source Connector : create Topic with multiple partitions
如何在 Kafka Connect JDBC Source 连接器中添加显式 WHERE 子句
[英]How to add explicit WHERE clause in Kafka Connect JDBC Source connector
如何使用存储过程配置Kafka JDBC Source Connector？
[英]How to configure Kafka JDBC Source Connector with stored procedure?
Kafka JDBC Source Connector是否无法通过sql查询从mysql读取数据？
[英]Kafka JDBC Source Connector is not reading data from mysql with sql query?
kafka jdbc 源连接器：时间戳模式不适用于 sqlite3
[英]kafka jdbc source connector: time stamp mode is not working for sqlite3
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
kafka-connect-jdbc源连接器OOM
基于查询的JDBC Source连接器Kafka
KAFKA JDBC Source 连接器添加默认模式
Kafka 连接 JDBC 源连接器不起作用
Kafka JDBC 源连接器和 Oracle 数据库错误
Kafka Connect：JDBC源连接器：创建具有多个分区的主题
如何在 Kafka Connect JDBC Source 连接器中添加显式 WHERE 子句
如何使用存储过程配置Kafka JDBC Source Connector？
Kafka JDBC Source Connector是否无法通过sql查询从mysql读取数据？
kafka jdbc 源连接器：时间戳模式不适用于 sqlite3
相关标签