如何在 spark-scala 中计算持续时间

Question

我有 2 列是从纪元格式转换而来的：

val df2 = df1.withColumn("event_end_ts", from_unixtime($"end_ts"/1000, "yyyy/MM/dd hh:mm:ss:ss"))
.withColumn("event_start_ts", from_unixtime($"start_ts"/1000, "yyyy/MM/dd hh:mm:ss:ss"))

这给了我这个：

 +----------------------+----------------------+ |event_end_ts |event_start_ts | +----------------------+----------------------+ |2022/05/24 03:49:01:01|2022/05/24 03:48:50:50| |2022/05/24 03:49:00:00|2022/05/24 03:48:51:51| |2022/05/24 03:50:03:03|2022/05/24 03:49:05:05| +----------------------+----------------------+

现在，我正在尝试获取 2 列的持续时间。 我试过这个，但它给出了一个空结果：

df2.withColumn("time_diff", (to_timestamp($"event_end_ts") - to_timestamp($"event_start_ts"))/3600)

Answer 1

您需要先将它们转换为LongType ，如下所示：

df2.withColumn("time_diff", (to_timestamp($"event_end_ts").cast(LongType) - to_timestamp($"event_start_ts").cast(LongType))/3600)