在 Pyspark 中将纪元时间转换为时间戳

Question

我有一个带有纪元时间列的 df。 纪元时间列的变量类型是字符串。 我希望它转换为时间戳。 我正在使用以下命令

from pyspark.sql.functions import from_utc_timestamp
df = df.withColumn('start_time',from_unixtime(df.recognition_start_time,'UTC'))
df.select('recognition_start_time').show(10,False)

但是命令结果给了我 null 。 我犯了什么错误？

Epoch Time : 1583471040000
Output expected :2020-03-06 05:04:00

Answer 1

在from_unixtime我们需要指定预期的输出格式（ yyyy-MM-dd hh:mm:ss ）并且通过使用from_utc_timestamp我们可以将输出从 utc 转换为给定的时区。

Example:

spark.sql("""select from_utc_timestamp(from_unixtime("1583471040000"/1000,"yyyy-MM-dd hh:mm:ss"),"America/Chicago")""").show(false)
+---------------------+
|_c0                  |
+---------------------+
|2020-03-05 05:04:00.0|
+---------------------+