Pyspark - 如何在 pyspark 中转换格式为 /Date(1593786688000+0200)/ 的日期/时间戳？

Question

我有一个 dataframe 和 CreateDate 列，格式如下：

CreateDate
/Date(1593786688000+0200)/
/Date(1446032157000+0100)/
/Date(1533904635000+0200)/
/Date(1447839805000+0100)/
/Date(1589451249000+0200)/

我想将该格式转换为日期/时间戳，因此例外的 output 将是：

CreateDate
2020-07-03 14:31:28 +02:00
2015-10-28 11:35:57 +01:00
2018-08-10 12:37:15 +02:00
2015-11-18 09:43:25 +01:00
2020-05-14 10:14:09 +02:00

我在 SQL 中有这个查询，它给出了所需的 output 并且可以帮助开发：

cast(convert(VARCHAR(30), DATEADD(Second, convert(BIGINT, left(replace(replace(CreateDate, '/date(', ''), ')/', ''), 13)) / 1000, '1970-01-01 00:00:00'), 20) + ' ' + '+' + left(right(replace(replace(CreateDate, '/date(', ''), ')/', ''), 4), 2) + ':' + right(replace(replace(CreateDate, '/date(', ''), ')/', ''), 2) AS DATETIMEOFFSET(0)) AS CreateDate

谁能帮我实现这个目标？

谢谢！

Answer 1

使用regexp_extract提取时间戳和时间偏移量。

然后from_unixtime将秒数转换为时间戳。 请注意， from_unixtime需要秒，而您的时间戳以毫秒为单位，这就是我们省略000的原因（天真地假设在您的数据中这确实是所有记录中的零，否则您需要稍微调整一下）。

val re = """/Date\((\d+)000(\+\d+)"""

df.withColumn("ts", from_unixtime(regexp_extract($"CreateDate", re, 1)))
  .withColumn("tz_offset", regexp_extract($"CreateDate", re, 2))
  .show(false)
+--------------------------+-------------------+---------+
|CreateDate                |ts                 |tz_offset|
+--------------------------+-------------------+---------+
|/Date(1593786688000+0200)/|2020-07-03 16:31:28|+0200    |
+--------------------------+-------------------+---------+