Spark数据框顺序通过使用变量

Question

我正在尝试做这样的事情，但它给出了一个错误。 在仍使用变量的情况下这样做的正确方法是什么？

import org.apache.spark.sql._
....
val seq = Seq[Column](new Column("colX"), new Column("colY"), new Column("colZ"))
someDataFrame.orderBy(seq)

我知道也可以使用诸如orderBy("colX", "colY", "colZ") ，但是在这里我想使用一个变量，因为我的订单顺序会在不同条件下发生变化。

我收到这样的错误。

error: overloaded method value orderBy with alternatives:
  (sortExprs: org.apache.spark.sql.Column*)org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] <and>
  (sortCol: String,sortCols: String*)org.apache.spark.sql.Dataset[org.apache.spark.sql.Row]
 cannot be applied to (Seq[org.apache.spark.sql.Column])

Answer 1

尝试此操作，您应该将Array或List转换为值序列（实际序列而不是Seq ）

someDataFrame.orderBy(seq:_*)

快速测试在这里：

输入

df.show
+---+---+
| _1| _2|
+---+---+
|  c|  0|
|  b|  1|
|  a|  0|
+---+---+


val s = Seq(new Column("_1"), new Column("_2"))

df.orderBy(s:_*).show
+---+---+
| _1| _2|
+---+---+
|  a|  0|
|  b|  1|
|  c|  0|
+---+---+