在窗口化apache spark中結合滯后和行計算

Question

假設有一個數據幀如下：

 a| b| 
 1| 3| 
 1| 5| 
 2| 6|  
 2| 9| 
 2|14| 

我想生成這樣的最終數據幀

 a| b|  c
 1| 3|  0
 1| 5| -2
 2| 6| -6
 2| 9| -10
 2| 14| -17

除了第一行之外的每一行計算c的值作為前一行的a-b + c。 我試圖使用滯后以及rowsBetween，但沒有成功因為“c”值不存在而且它被隨機變量填充!!

val w = Window.partitionBy().orderBy($"a", $"b)
df.withColumn("c", lead($"a", 1, 0).over(w) - lead($"b", 1, 0).over(w) + lead($"c", 1, 0).over(w)) 

Answer 1

不能引用c在計算c ; 你需要的是一筆累積sum ，可能只是：

df.withColumn("c", sum(lag($"a" - $"b", 1, 0).over(w)).over(w)).show

+---+---+---+
|  a|  b|  c|
+---+---+---+
|  1|  3|  0|
|  1|  5| -2|
|  2|  6| -6|
|  2|  9|-10|
|  2| 14|-17|
+---+---+---+

但請注意，由於缺少分區列，這樣做效率很低。