用不同顺序的两列对 Spark Dataframe 进行排序

Question

比方说，我有一张这样的表：

A,B
2,6
1,2
1,3
1,5
2,3

我想按A列A升序对其进行排序，但在此范围内我想按B列的降序对其进行排序，如下所示：

A,B
1,5
1,3
1,2
2,6
2,3

我尝试使用orderBy("A", desc("B"))但它给出了一个错误。

我应该如何在 Spark 2.0 中使用数据框编写查询？

Answer 1

使用列方法desc ，如下图：

val df = Seq(
  (2,6), (1,2), (1,3), (1,5), (2,3)
).toDF("A", "B")

df.orderBy($"A", $"B".desc).show
// +---+---+
// |  A|  B|
// +---+---+
// |  1|  5|
// |  1|  3|
// |  1|  2|
// |  2|  6|
// |  2|  3|
// +---+---+

Answer 2

desc是正确的使用方法，但并不是说它是Columnn类中的方法。 因此，应按如下方式应用：

df.orderBy($"A", $"B".desc)

$"B".desc返回一列，因此"A"也必须更改为$"A" （或col("A")如果未导入 spark 隐式）。