Spark 3.2.0 Structured Streaming 使用 Confluent Schema Registry 將數據保存到 Kafka

Question

有沒有一些簡單的方法可以使用 Confluent Schema 注冊表將 Spark 結構化流 dataframe 保存到 kafka 中？ Spark版本為3.2.0，Scala 2.12

我設法使用 Confluent 模式注冊表從 Kafka 讀取數據，代碼有點難看：

  val schemaRegistryClient = new CachedSchemaRegistryClient(schemaRegistry, 128)
  val kafkaAvroDeserializer = new AvroDeserializer(schemaRegistryClient)
  val deserializer = kafkaAvroDeserializer
}

class AvroDeserializer extends AbstractKafkaAvroDeserializer {
  def this(client: SchemaRegistryClient) {
    this()
    this.schemaRegistry = client
  }

  override def deserialize(bytes: Array[Byte]): String = {
    val genericRecord = super.deserialize(bytes).asInstanceOf[GenericRecord]
    genericRecord.toString
  }
}

spark.udf.register("deserialize", (bytes: Array[Byte]) =>
  DeserializerWrapper.deserializer.deserialize(bytes))```

現在我想將數據寫入另一個 Kafka 主題 - 有沒有簡單的方法？

Answer 1

您需要使用在 Struct 列（或原始類型）上使用序列化器 UDF 的類似丑陋代碼。

有一些庫可以幫助使它不那么難看 - https://github.com/AbsaOSS/ABRiS