如何在Spark SQL环境中进行日期差异？

Question

我有一个带有创建日期和操作日期的表。 我想获取两个日期之间的分钟数。 我看了看文档，却找不到解决方案。

%sql
SELECT datediff(creation_dt, actions_dt)
FROM actions
limit 10

这给了我两个日期之间的天数。 一条记录看起来像

2019-07-31 23:55:22.0  |  2019-07-31 23:55:21 | 0

如何获得分钟数？

Answer 1

如评论中所述，如果您使用的是Spark或Pyspark，那么withColumn方法是最好的。

但

如果您使用的是SparkSQL环境，则可以使用unix_timestamp（）函数获取所需的内容

select ((unix_timestamp('2019-09-09','yyyy-MM-dd') - unix_timestamp('2018-09-09','yyyy-MM-dd'))/60);

用列名交换日期，然后定义日期模式为参数。

将两个日期都转换为秒，然后进行计算。 然后我们除以60得到分钟。

525600.0