Spark：我可以在Spark SQL中将Scala设置转换为DataType吗？

Question

例如，Scala数组对应于Spark SQL中的ArrayType，可在架构定义中使用。 对于Map，有MapType。

Set怎么样？

Answer 1

一组受支持的类型（无双关语）受限制且不可扩展。 您可以在《 Spark SQL，数据框架和数据集指南》中找到受支持类型的完整列表，因为您可以检查Set是否没有类型。

最好的办法是使用ArrayType映射到scala.collection.Seq并自己处理特定于集合的操作。

可以使用二进制Encoders （ 如何在数据集中存储自定义对象？ ），但这些二进制Encoders用于强类型数据集，并且与DataFrames使用时具有有限的应用程序。

Answer 2

空无一人。 详尽的清单在这里： http : //spark.apache.org/docs/latest/sql-programming-guide.html#data-types

在Spark存储库中的“ examples/src/main/scala/org/apache/spark/examples/sql/SparkSQLExample.scala ”中找到完整的示例代码。