Spark SQL不支持的數據類型TimestampType

Question

我剛接觸spark和scala.Trying讀取文本文件並保存它的鑲木地板文件。 對我來說，我使用的字段之一是TimeStamp，它的文檔說spark1.1.0支持java.util.TimeStamp。

保存到鑲木地板文件時我得到的運行時錯誤是

線程“main”中的異常java.lang.RuntimeException：在org.apache.spark.sql.parquet.ParquetTypesConverter $$ anonfun $ fromDataType $ 2的scala.sys.package $ .error（package.scala：27）中的不支持的數據類型TimestampType。申請（ParquetTypes.scala：301）

任何建議都非常值得注意。

謝謝

Answer 1

這實際上是1.3.0之前版本的已知錯誤： https ： //issues.apache.org/jira/browse/SPARK-4987

拉取請求已經合並： https ： //github.com/apache/spark/pull/3820但在1.3.0發布之前它將不可用。

如果你急於求成，你可以在本地構建1.3.0的主分支，否則你可能要等待，但是有希望，因為Spark 1.3.0的RC2昨天開始被評為最終版本，所以如果候選版本的一切都很好，事情可以很快地移動。

問候，