将转换应用于 Spark 上具有相同数据类型的所有列

Question

在编写 CSV 之前，我需要对我的数据框的所有 Integer 列进行转换。 转换包括将类型更改为字符串，然后将格式转换为欧洲格式（例如 1234567 ->“1234567”->“1.234.567”）。

Spark 有什么方法可以将此转换应用于所有 Integer 列？ 我希望它是一个通用功能（因为我需要编写多个 CSV），而不是硬编码所有列来为每个 dataframe 进行转换。

Answer 1

DataFrame 有dtypes方法，它返回列名及其数据类型： Array[("Column name", "Data Type")] 。

您可以 map 这个数组，根据它们的数据类型对每列应用不同的表达式。 然后您可以将此映射列表传递给select方法：

import spark.implicits._
import org.apache.spark.sql.functions._

val dataSeq = Seq(
    (1246984,  993922, "test_1"),
    (246984,  993922, "test_2"),
    (246984,  993922, "test_3"))

val df = dataSeq.toDF("int_1", "int_2", "str_3")
df.show
+-------+------+------+
|  int_1| int_2| str_3|
+-------+------+------+
|1246984|993922|test_1|
| 246984|993922|test_2|
| 246984|993922|test_3|
+-------+------+------+

val columns = 
  df.dtypes.map{
    case (c, "IntegerType") => regexp_replace(format_number(col(c), 0), ",", ".").as(c)
    case (c, t) => col(c)
  }

val df2 = df.select(columns:_*)
df2.show
+---------+-------+------+
|    int_1|  int_2| str_3|
+---------+-------+------+
|1,246,984|993,922|test_1|
|  246,984|993,922|test_2|
|  246,984|993,922|test_3|
+---------+-------+------+