將時間戳整數列轉換為在火花數據幀中一小時后停止的日期時間

Question

我有一個像這樣的火花數據框

我有一個整數時間戳，我想用整個日期+小時創建另一列我不明白為什么這段代碼不起作用：

df = df.withColumn("Date_per_hour", df.cast('date'))

Answer 1

您可以將日期列轉換為所需格式的時間戳。

from pyspark.sql.functions import to_timestamp   

df = df.withColumn("new_date", to_timestamp("Date", "yyyyMMdd"))

注意*您還詢問了小時，但我沒有看到您的日期列中包含小時信息。 如果您剛剛將其添加到格式中，例如：

df = df.withColumn("new_date", to_timestamp("Date", "yyyyMMdd HHmmss"))