Scala Spark - Select 列按名称和列表

Question

我正在尝试使用从列表中提取的单列名称和名称从 Scala Spark DataFrame 中的 select 列。 我目前的解决方案如下：

var cols_list = List("d", "e")

df
.select(
    col("a"),
    col("b"),
    col("c"),
    cols_list.map(col): _*)

但是，它会引发错误：

<console>:81: error: no `: _*' annotation allowed here
(such annotations are only allowed in arguments to *-parameters)
               cols_list.map(col): _*
                                        ^

任何帮助将不胜感激

Answer 1

select接受List[Column] ，因此您需要构建并提供该列表，例如

df.select(col("a") :: col("b") :: col("c") :: cols_list.map(col): _*)

Answer 2

您的代码对我来说运行良好，您也可以使用 $ 表示法。

scala> df.select(cols_list.map(col):_*)
res8: org.apache.spark.sql.DataFrame = [d: int, e: int]

scala> df.select(cols_list.map(c => $"$c"):_*)
res9: org.apache.spark.sql.DataFrame = [d: int, e: int]

也许你只需要import spark.implicits._

额外：还要检查您的变量名称，这是 scala 中的命名约定，使用驼峰式大小写并尽量避免使用 var （这只是一个很好的实践问题，与您的错误完全无关）

val colsList = List("d", "e")