Spark：我可以在Spark SQL中將Scala設置轉換為DataType嗎？

Question

例如，Scala數組對應於Spark SQL中的ArrayType，可在架構定義中使用。 對於Map，有MapType。

Set怎么樣？

Answer 1

一組受支持的類型（無雙關語）受限制且不可擴展。 您可以在《 Spark SQL，數據框架和數據集指南》中找到受支持類型的完整列表，因為您可以檢查Set是否沒有類型。

最好的辦法是使用ArrayType映射到scala.collection.Seq並自己處理特定於集合的操作。

可以使用二進制Encoders （ 如何在數據集中存儲自定義對象？ ），但這些二進制Encoders用於強類型數據集，並且與DataFrames使用時具有有限的應用程序。

Answer 2

空無一人。 詳盡的清單在這里： http : //spark.apache.org/docs/latest/sql-programming-guide.html#data-types

在Spark存儲庫中的“ examples/src/main/scala/org/apache/spark/examples/sql/SparkSQLExample.scala ”中找到完整的示例代碼。