Spark SQL不支持的数据类型TimestampType

Question

我刚接触spark和scala.Trying读取文本文件并保存它的镶木地板文件。 对我来说，我使用的字段之一是TimeStamp，它的文档说spark1.1.0支持java.util.TimeStamp。

保存到镶木地板文件时我得到的运行时错误是

线程“main”中的异常java.lang.RuntimeException：在org.apache.spark.sql.parquet.ParquetTypesConverter $$ anonfun $ fromDataType $ 2的scala.sys.package $ .error（package.scala：27）中的不支持的数据类型TimestampType。申请（ParquetTypes.scala：301）

任何建议都非常值得注意。

谢谢

Answer 1

这实际上是1.3.0之前版本的已知错误： https ： //issues.apache.org/jira/browse/SPARK-4987

拉取请求已经合并： https ： //github.com/apache/spark/pull/3820但在1.3.0发布之前它将不可用。

如果你急于求成，你可以在本地构建1.3.0的主分支，否则你可能要等待，但是有希望，因为Spark 1.3.0的RC2昨天开始被评为最终版本，所以如果候选版本的一切都很好，事情可以很快地移动。

问候，