用不同順序的兩列對 Spark Dataframe 進行排序

Question

比方說，我有一張這樣的表：

A,B
2,6
1,2
1,3
1,5
2,3

我想按A列A升序對其進行排序，但在此范圍內我想按B列的降序對其進行排序，如下所示：

A,B
1,5
1,3
1,2
2,6
2,3

我嘗試使用orderBy("A", desc("B"))但它給出了一個錯誤。

我應該如何在 Spark 2.0 中使用數據框編寫查詢？

Answer 1

使用列方法desc ，如下圖：

val df = Seq(
  (2,6), (1,2), (1,3), (1,5), (2,3)
).toDF("A", "B")

df.orderBy($"A", $"B".desc).show
// +---+---+
// |  A|  B|
// +---+---+
// |  1|  5|
// |  1|  3|
// |  1|  2|
// |  2|  6|
// |  2|  3|
// +---+---+

Answer 2

desc是正確的使用方法，但並不是說它是Columnn類中的方法。 因此，應按如下方式應用：

df.orderBy($"A", $"B".desc)

$"B".desc返回一列，因此"A"也必須更改為$"A" （或col("A")如果未導入 spark 隱式）。