我正在尝试根据此处的文档为写入 mongodb 的接收器连接器实施自定义写入策略： https://www.mongodb.com/docs/kafka-connector/current/sink-connector/fundamentals/write-strategies/ 我试图让我的连接 ...
正如标题所述，我正在使用 debezium Postgres 源连接器，并且我希望 MongoDB 接收器连接器根据其名称将不同集合和数据库中的 kafka 主题（也用于隔离不相关数据的不同数据库）分组。 在查询时，我在mongo docs遇到了topic.regex连接器属性。 不幸的是，这只会在 ...
We are working with mongodb kafka connetor on top of open source Apache Kafka connector, for data ingestion of json data from Mongo to HDFS. 我们有 kaf ...
我正在运行 MongoDB Kafka 源连接器（官方 mongodb 连接器版本 1.7.0），并定义pipeline和copy.existing.pipeline属性以过滤某些列 - 请参阅下面的完整源连接器配置。 我遇到的问题是copy.existing.pipeline似乎在copy.exi ...
我已经下载了 confluent 平台并使用此链接设置了 docker https://github.com/confluentinc/cp-all-in-one/blob/7.2.1-post/cp-all-in-one/docker-compose .yml 。 我在 confluent_hub ...
我是kafka连接器的新手。 我已经探索了大约一个星期。 我已经使用通过 mongodb 连接器 curl 命令创建和更新 mongodb。 我有点难以理解下面的概念和实现。 在生成消息之前，我们每次都使用唯一的名称将 curl 命令注册到连接器。 它将如何自动化？ 例如，如果我将应用程序中的数据传 ...
如何将 kafka 事件连接到 mongodb 接收器？ 我使用 confluent 在网上找到的资源他们为您创建了一个集群，但没有找到如何连接我已经存在的集群 ...
我在 mongo Kafka 接收器连接器中使用 ChangeStreamHandler 到 stream 从 mongo 源更改为接收器集合 在来自源 MongoDB 集合的更新事件上，更改 stream 处理程序失败并出现异常 下面是接收端收到的 Change stream 事件 查看 cla ...
我是 Kafka 连接的新手。 我正在尝试使用 Kafka 连接器将更改流从 1 个 mongo 集合同步到另一个，包括插入和更新操作 源配置- 接收器配置 - 更新的 Kafka 主题事件 - 我的插入流式传输正常，但接收器连接器端的更新失败并出现异常 ...
我们想使用 Kafka 连接接收器连接器来将消息从 Kafka 复制到 Mongo DB。 在我们的用例中，我们有多个主题，每个主题都有一个分区（主题的名称可以是正则表达式，例如，topic.XXX.name）。 这些话题的数量不断增加。 我想知道 Kafka 连接架构是否适合这个用例。 如果是这样 ...
我正在尝试使用 AWS DocumentDB 作为接收器来存储从 Kafka 接收的数据，并且想知道 MongoDB Kafka 连接器是否与 DocumentDB 一起使用，因为它的文档提到它与 MongoDB 驱动程序兼容。 https://www.mongodb.com/docs/kafk ...
基于 n 个租户，我们在 Mongo 中有几个 collections，并希望 kafka 连接器只监视特定的 collections。 下面是我的 mongosource.properties 文件，我在其中添加了管道过滤器以仅侦听特定的 collections。它可以工作 collection ...
我们正在尝试使用 com.mongodb.kafka.connect.MongoSourceConnector 将 MongoDB 的所有记录带到 Kafka。 用于连接器的设置如下： 当所有文档最初从 MongoDB 上传到 Kafka 时，“key”对应于 Mongo 文档中的“id”： 但是当 ...
应用程序每月将数据写入一个新集合（例如，journal_2205、journal_2206）。 是否可以配置连接器，使其从新集合中读取 oplog 并写入一个主题？ 我使用连接器https://www.mongodb.com/docs/kafka-connector/current/source-c ...
我正在尝试使用连接 MongoDB kafka 连接器接收器 (mongodb-kafka-connect-mongodb-1.7.0) 将 avro 事件从 kafka 写入 MongoDB。 我设置了一个与 kafka 消费者示例或我的自定义示例一起使用的模式注册表，它们都能够反序列化事件并打印 ...
我在使用 mongo kafka 接收器连接器写入 mongodb 时遇到问题。我正在使用 v5.0.3 的 mongodb 和 v2.8.0 的 Strimzi kafka。 我在连接集群插件路径中添加了 p1/mongo-kafka-connect-1.7.0-all.jar 和 p2/mong ...
我想知道是否建议创建多个 Kafka 连接器来流式传输同一数据库或同一 MongoDB 集群中的不同数据库中可用的多个 collections 数据。 我认为每个集群只有一个 oplog。 因此很容易读取多个 collections 的数据，这种方法将减少集群的负载。 但我不确定将数据放在每个集合的 ...
正如我从文档和其他参考资料中看到的那样，无论通过属性 (tasks.num) 定义的值如何，似乎连接器都将使用单个任务进行实例化 分布式官方 Mongodb Kafka Source Connector with Multiple tasks 不工作 Kafka Connect 中的连接器和任务之间 ...
我们有具有三个副本的 MongoDB 集群。 我已将首选 TLS 和身份验证类型启用为 MongoDB-X509。 我们有三个代理 srimzi kafka 集群，并将集群与所有必需的插件（即 debezium 提供的 mongoDB）连接起来并运行。 现在我尝试使用以下 json 创建 mong ...
我正在使用 MongoSourceConnector 将 kafka 主题与 mongo 数据库集合连接起来。 对于具有单个 kafka 主题的单个数据库，它工作正常，但是有什么方法可以为具有单个 kafka 主题的多个 mongo 数据库建立连接。 ...