同一列Apache Spark中的日期差異

Question

我有一列，我需要找出每行之間的日期差異，按 Id 分區。這必須使用 Spark SQL 完成。 我寫了下面的代碼，但不知何故答案是錯誤的。 請讓我知道我哪里出錯了。

WindowSpec window = Window.partitionBy("id").orderBy("date_time");
Dataset<Row> resultSet = testData.withColumn("day_diff", functions.datediff(col("date_time"), functions.lag(col("date_time"), 1).over(window)));

Answer 1

你應該一個一個地做。

• 步驟1：使用窗口函數收集前一行的日期。
• Step2：使用 datediff 找出差異。
• 刪除額外的 cols

testData
.withColumn("prev_date", functions.lag(col("date_time"),1).over(window))
.withColumn("day_diff", functions.datediff(col("date_time")), col("prev_date"))
.drop(col("prev_date"))