Spark 3.2.0 Structured Streaming 使用 Confluent Schema Registry 将数据保存到 Kafka

Question

有没有一些简单的方法可以使用 Confluent Schema 注册表将 Spark 结构化流 dataframe 保存到 kafka 中？ Spark版本为3.2.0，Scala 2.12

我设法使用 Confluent 模式注册表从 Kafka 读取数据，代码有点难看：

  val schemaRegistryClient = new CachedSchemaRegistryClient(schemaRegistry, 128)
  val kafkaAvroDeserializer = new AvroDeserializer(schemaRegistryClient)
  val deserializer = kafkaAvroDeserializer
}

class AvroDeserializer extends AbstractKafkaAvroDeserializer {
  def this(client: SchemaRegistryClient) {
    this()
    this.schemaRegistry = client
  }

  override def deserialize(bytes: Array[Byte]): String = {
    val genericRecord = super.deserialize(bytes).asInstanceOf[GenericRecord]
    genericRecord.toString
  }
}

spark.udf.register("deserialize", (bytes: Array[Byte]) =>
  DeserializerWrapper.deserializer.deserialize(bytes))```

现在我想将数据写入另一个 Kafka 主题 - 有没有简单的方法？

Answer 1

您需要使用在 Struct 列（或原始类型）上使用序列化器 UDF 的类似丑陋代码。

有一些库可以帮助使它不那么难看 - https://github.com/AbsaOSS/ABRiS