將 Glue 模式注冊表與 MSK 連接器結合使用

Question

我一直在嘗試創建一個 MSK 連接器並使用 Glue 模式注冊表。 配置如下。

connector.class=io.confluent.connect.s3.S3SinkConnector
s3.region=eu-west-1
topics.dir=topics/dir
flush.size=200
tasks.max=2
s3.part.size=5242880
timezone=GMT
# value.converter.schema.registry.url=http://someIP:8081
key.converter.schemaName=my-topic-schema
locale=US
format.class=io.confluent.connect.s3.format.parquet.ParquetFormat
value.converter.schemaName=my-topic-schema
value.converter=io.confluent.connect.avro.StringConverter
s3.bucket.name=my-bucket
key.converter=io.confluent.connect.avro.StringConverter
# key.converter.schema.registry.url==http://someIP:8081
partition.duration.ms=3600000
schema.compatibility=BACKWARD
topics=osb
value.converter.registry.name=Glue-Schema-Registry
key.converter.registry.name=Glue-Schema-Registry
key.converter.schemas.enable=true
partitioner.class=io.confluent.connect.storage.partitioner.TimeBasedPartitioner
value.converter.schemas.enable=true
storage.class=io.confluent.connect.s3.storage.S3Storage
rotate.schedule.interval.ms=0
path.format='year'=YYYY/'month'=MM/'day'=dd/'hour'=HH
timestamp.extractor=RecordField
timestamp.field=timestamp

首先，我使用在 EC2 上運行的融合架構注冊表，我在“key/value.converter.schema.registry.url”字段中添加了 ip，它工作正常。 現在我正在嘗試使用 Glue Schema Registry。 但我不知道如何將連接器與 Glue Schema Registry 連接起來。

Answer 1

這些類不存在

key.converter=io.confluent.connect.avro.StringConverter
value.converter=io.confluent.connect.avro.StringConverter

StringConverter類名以org.apache.kafka

同樣，看起來您已經添加了一堆隨機轉換器屬性，除了 url 之外，這些屬性對 String 或 Confluent Avro 轉換器無效

---

要使用 Glue，您需要使用AWSKafkaAvroConverter ，它是此存儲庫的一部分，

https://github.com/awslabs/aws-glue-schema-registry/tree/master/avro-kafkaconnect-converter

並記錄在這里

https://docs.aws.amazon.com/glue/latest/dg/schema-registry-integrations.html#schema-registry-integrations-apache-kafka-connect