MongoDB Kafka 源连接器 - copy.exisintg.pipeline 配置

Question

我正在运行 MongoDB Kafka 源连接器（官方 mongodb 连接器版本 1.7.0），并定义pipeline和copy.existing.pipeline属性以过滤某些列 - 请参阅下面的完整源连接器配置。

我遇到的问题是copy.existing.pipeline似乎在copy.existing阶段工作并过滤列，但是当连接器完成并移动到 stream 阶段时， pipeline属性似乎被忽略了，我'我在没有任何过滤的情况下获取文档。

{
  "name": "connector1",
  "config": {
    "name": "connector1",
    "connector.class": "com.mongodb.kafka.connect.MongoSourceConnector",
    "connection.uri": "mongodb://mongo:27017/admin?tls=true&tlsallowinvalidcertificates=true&tlsallowinvalidhostnames=true",
    "database": "myDB",
    "collection": "myCollection",
    "change.stream.full.document": "updateLookup",
    "poll.max.batch.size": 5000,
    "topic.prefix": "topic",
    "copy.existing": true,
    "copy.existing.allow.disk.use": true,
    "copy.existing.max.threads": 10,
    "output.format.value": "schema",
    "pipeline": "[{$project: {\"aql\": 0, \"wizard_expressions\": 0}}]",
    "copy.existing.pipeline": "[{$project: {\"aql\": 0, \"wizard_expressions\": 0}}]"
  }

这里有什么建议吗？

Answer 1

好像我不得不过滤前缀为fullDocument的列。

“管道”：“[{$项目：{“ fullDocument .aql”：0，“ fullDocument .wizard_expressions”：0}}]”，

"copy.existing.pipeline": "[{$project: {" fullDocument .aql": 0, " fullDocument .wizard_expressions": 0}}]"