org.apache.spark.sql.types.DataTypeException：不支持的dataType：IntegerType

Question

我是Spark和Scala的新手，我对此异常感到困惑，我试图将一些额外字段（即StructField）添加到使用Spark SQL从Data Frame检索到的现有StructType中，以使用Spark SQL并在异常下方进行getting。

代码段：

val dfStruct:StructType=parquetDf.select("columnname").schema
dfStruct.add("newField","IntegerType",true)

线程“主”中的异常

 org.apache.spark.sql.types.DataTypeException: Unsupported dataType: IntegerType. If you have a struct and a field name of it has any special characters, please use backticks (`) to quote that field name, e.g. `x+y`. Please note that backtick itself is not supported in a field name.
    at org.apache.spark.sql.types.DataTypeParser$class.toDataType(DataTypeParser.scala:95)
    at org.apache.spark.sql.types.DataTypeParser$$anon$1.toDataType(DataTypeParser.scala:107)
    at org.apache.spark.sql.types.DataTypeParser$.parse(DataTypeParser.scala:111)

我可以看到在jira上运行了一些与此异常相关的未解决问题，但了解得不多。 我正在使用Spark 1.5.1版本

https://mail-archives.apache.org/mod_mbox/spark-issues/201508.mbox/%3CJIRA.12852533.1438855066000.143133.1440397426473@Atlassian.JIRA%3E

https://mail-archives.apache.org/mod_mbox/spark-issues/201508.mbox/%3CJIRA.12852533.1438855066000.143133.1440397426473@Atlassian.JIRA%3E

https://issues.apache.org/jira/browse/SPARK-9685

Answer 1

当您将StructType.add与以下签名一起使用时：

add(name: String, dataType: String, nullable: Boolean)

dataType字符串应对应于.simpleString或.typeName 。 对于IntegerType它可以是int ：

import org.apache.spark.sql.types._

IntegerType.simpleString
// String = int

或integer ：

IntegerType.typeName
// String = integer

所以您需要的是这样的：

val schema = StructType(Nil)

schema.add("foo", "int", true)
// org.apache.spark.sql.types.StructType = 
//   StructType(StructField(foo,IntegerType,true))

要么

schema.add("foo", "integer", true)
// org.apache.spark.sql.types.StructType = 
//   StructType(StructField(foo,IntegerType,true))

如果要传递IntegerType ，则必须是DataType而不是String ：

schema.add("foo", IntegerType, true)