列是 uuid 类型，但表达式是 Spark Scala 中不同的字符类型

Question

再会。 我正在部署一个流式作业以将数据从 Spark (Scala) 插入到 Postgres。

df.select("col1","col2").write.mode(SaveMode.Append).jdbc(url, "tableName", connectionProperties)

这里 col2 在 dataframe df 中有 uuid 值，但它是字符串数据类型。 当它尝试插入将 col2 列定义为 uuid 类型的表中时，它的失败与Column is of type uuid but expression is of type character varying 。 有人可以帮我解决这个问题。 ?

谢谢你。

Answer 1

当 dataframe 中的列具有字符串数据类型但具有 UUID 类型的值时，您可以在连接属性中设置特定属性，这将允许您保存 dataframe。 如果您不设置该属性，如果该列的数据类型为 UUID，它将不允许您将数据保存在 sql/postgres 表中。

您可以在连接属性中设置此属性

connectionProps.setProperty("stringtype", "unspecified")

设置上述属性将允许您将 dataframe 中具有 UUID 值的字符串类型列保存到 postgres 数据库中 UUID 类型的列。