Flink 使用 AvroDeserializationSchema 读取 avro 主题

Question

我正在尝试使用案例 class 阅读 Scala 中的 avro kafka 主题：

val senv = StreamExecutionEnvironment.getExecutionEnvironment

val kafkaSourceTopic = "device_logs"
val kafkaBrokers = "localhost:9092"

val properties = new Properties()
properties.setProperty("bootstrap.servers", kafkaBrokers)
properties.setProperty("group.id", "flink_app_avro")

case class DeviceData(
  custom_fields: String,
  upload_time: Long,
  build: String,
  device_id: String,
  log_version: Int
)

val consumer = new FlinkKafkaConsumer[DeviceData](kafkaSourceTopic, new AvroDeserializationSchema[DeviceData](classOf[DeviceData]), properties)
val stream = senv.addSource(consumer)

在 flink-scala-shell 中运行代码时出现此错误：

scala> val consumer = new FlinkKafkaConsumer[DeviceData](kafkaSourceTopic, new AvroDeserializationSchema[DeviceData](classOf[DeviceData], null), properties)
<console>:92: error: constructor AvroDeserializationSchema in class AvroDeserializationSchema cannot be accessed in object $iw
       val consumer = new FlinkKafkaConsumer[DeviceData](kafkaSourceTopic, new AvroDeserializationSchema[DeviceData](classOf[DeviceData], null), properties)

如何在 Scala 中使用 AvroDeserializationSchema 读取 avro 主题？ 谢谢。

Answer 1

您不能简单地创建一个案例 class 并告诉 Flink 自动解析 avro。 Avro 是一种二进制格式，您需要知道用于解析记录的架构。 因此，您可以：

1. 从 Kafka 获取记录模式，并使用AvroDeserializationSchema为GenericRecord创建AvroDeserializationSchema.forGeneric 。
2. 您可以查看您正在使用的构建工具的 Avro 插件，然后使用来自 Kafka 的记录的 Avro 模式创建一个文件，并使用 Avro 插件为它们生成类。 然后你可以简单地使用`AvroDeserializationSchema.forSpecific([nameOfTheGeneratedClass])