MongoDB Kafka 源連接器 - copy.exisintg.pipeline 配置

Question

我正在運行 MongoDB Kafka 源連接器（官方 mongodb 連接器版本 1.7.0），並定義pipeline和copy.existing.pipeline屬性以過濾某些列 - 請參閱下面的完整源連接器配置。

我遇到的問題是copy.existing.pipeline似乎在copy.existing階段工作並過濾列，但是當連接器完成並移動到 stream 階段時， pipeline屬性似乎被忽略了，我'我在沒有任何過濾的情況下獲取文檔。

{
  "name": "connector1",
  "config": {
    "name": "connector1",
    "connector.class": "com.mongodb.kafka.connect.MongoSourceConnector",
    "connection.uri": "mongodb://mongo:27017/admin?tls=true&tlsallowinvalidcertificates=true&tlsallowinvalidhostnames=true",
    "database": "myDB",
    "collection": "myCollection",
    "change.stream.full.document": "updateLookup",
    "poll.max.batch.size": 5000,
    "topic.prefix": "topic",
    "copy.existing": true,
    "copy.existing.allow.disk.use": true,
    "copy.existing.max.threads": 10,
    "output.format.value": "schema",
    "pipeline": "[{$project: {\"aql\": 0, \"wizard_expressions\": 0}}]",
    "copy.existing.pipeline": "[{$project: {\"aql\": 0, \"wizard_expressions\": 0}}]"
  }

這里有什么建議嗎？

Answer 1

好像我不得不過濾前綴為fullDocument的列。

“管道”：“[{$項目：{“ fullDocument .aql”：0，“ fullDocument .wizard_expressions”：0}}]”，

"copy.existing.pipeline": "[{$project: {" fullDocument .aql": 0, " fullDocument .wizard_expressions": 0}}]"