如何动态获取Spark数据框中的列的数据类型

Question

我有一个数据框-将dtypes转换为map。

val dfTypesMap:Map[String,String]] = df.dtypes.toMap

输出：

(PRODUCT_ID,StringType)
(PRODUCT_ID_BSTP_MAP,MapType(StringType,IntegerType,false))
(PRODUCT_ID_CAT_MAP,MapType(StringType,StringType,true))
(PRODUCT_ID_FETR_MAP_END_FR,ArrayType(StringType,true))

当我在row.getAS[String]使用类型[String]硬编码时，没有编译错误。

df.foreach(row => {
  val prdValue = row.getAs[String]("PRODUCT_ID")
})

我想遍历地图dfTypesMap并获取相应的值类型。 有什么方法可以将dt列类型转换为如下通用类型？

StringType --> String
MapType(StringType,IntegerType,false) ---> Map[String,Int]
MapType(StringType,StringType,true) ---> Map[String,String]
ArrayType(StringType,true) ---> List[String]

Answer 1

如前所述，数据集使使用类型更加容易。 数据集基本上是强类型JVM对象的集合。

您可以像这样将数据映射到案例类

case class Foo(PRODUCT_ID: String, PRODUCT_NAME: String)
val ds: Dataset[Foo] = df.as[Foo]

然后，您可以安全地对键入的对象进行操作。 在你的情况下你可以做

ds.foreach(foo => {
  val prdValue = foo.PRODUCT_ID
})

有关数据集的更多信息，请查看https://spark.apache.org/docs/latest/sql-programming-guide.html#creating-datasets