S3 接收器連接器未在存儲桶中創建密鑰或 header 文件

Question

我使用的是最新版本的 S3 Sink Connector (v10.0.5) 並啟用了 kafka.keys 和 kafka.headers 但只創建了值文件。 這是我們配置的副本：

connector.class=io.confluent.connect.s3.S3SinkConnector
format.class=io.confluent.connect.s3.format.avro.AvroFormat
errors.log.include.messages=true
s3.region=eu-west-1
flush.size=1
tasks.max=1
errors.log.enable=true
s3.bucket.name=sink-connector-backup-bcs
schema.compatibility=FULL
topics=onboardingStatus

store.kafka.keys=true
store.kafka.headers=true
keys.format.class=io.confluent.connect.s3.format.avro.AvroFormat
headers.format.class=io.confluent.connect.s3.format.avro.AvroFormat

value.converter=io.confluent.connect.avro.AvroConverter
value.converter.enhanced.avro.schema.support=true
value.converter.schema.registry.url=http://.......eu-west-1.compute.internal:8083

key.converter=io.confluent.connect.avro.AvroConverter
key.converter.enhanced.avro.schema.support=true
key.converter.schema.registry.url=http://.......eu-west-1.compute.internal:8083

names=s3-sink-onboardingStatus
s3.sse.kms.key.id=arn:aws:kms:eu-west-1:.......:key/......
partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner
storage.class=io.confluent.connect.s3.storage.S3Storage
auto.offset.reset=earliest

我錯過了什么？

Answer 1

在對我們的 AWS 實例進行一些挖掘之后，我發現我們實際上並沒有使用最新版本的 S3 接收器連接器。 更新到最新版本並且有效。 注意到一個潛在的錯誤：如果消息的 header 或鍵為空（並且您嘗試 output 該文件類型）則接收器連接器失敗