如何将多列作为参数传递给 Spark 数据框

Question

我想将多个列名作为参数传递给数据框。

val readData = spark.sqlContext
  .read.format("csv")
  .option("delimiter",",")
  .schema(Schema)
  .load("emp.csv")

val cols_list1 = "emp_id,emp_dt"
val cols_list2 = "emp_num"

val RemoveDupli_DF = readData
  .withColumn("rnk", row_number().over(Window.partitionBy(s"$cols_list1").orderBy(s"$cols_list2") ))

上面的代码正在工作，如果我有一个列名，而有两列或更多列，它会给出以下错误。

线程“main”org.apache.spark.sql.AnalysisException 中的异常：无法解析“ emp_id,emp_dt ”

使用 Scala 2.x 版本。

Answer 1

partitionBy方法作为多重签名：

def partitionBy(colName: String, colNames: String*)
// or
def partitionBy(cols: Column*)

您的代码将列列表作为单个字符串提供，该字符串将失败，因为没有名为emp_id,emp_dt列。 因此，您会收到错误消息。

您可以在集合中定义列名（作为字符串）

val cols_seq1 = Seq("emp_id","emp_dt")

然后像这样调用 partitionsBy：

Window.partitionBy(cols_seq1: _*)

符号: _*告诉编译器将cols_seq1每个元素作为它自己的参数传递到partitionBy调用中，而不是将所有元素作为单个参数传递。

作为替代方案，您也可以使用

Window.partitionBy("emp_id", "emp_dt")