Scala Databricks：将所有bigint列强制转换为双精度

Question

我指的是这个问题： 在DataFrame中强制转换多个列

我有一个包含许多列的数据框。 不应触摸某些开头列（例如5），因为它们是ID，名称等。

从起第6列，我想如果它的数据类型投下列bigint到double数据类型。

目前，我正在使用：

val df2 = df.withColumn("col_name", df.col("col_name").cast(DataTypes.DoubleType))

对于每一列，这确实很耗时。

Answer 1

1-排除前5列，然后找到所有BigInt / Long类型的列

2-折叠BigInt列的列表，将其更改为Double

val df2 = df.schema.drop(5).collect{case c if c.dataType == DataTypes.LongType => c.name}.foldLeft(df){(acc, nxt) => acc.withColumn(nxt, acc.col(nxt).cast(DataTypes.DoubleType))}