如何創建新的字符串列以從Spark中的時間戳提取整數？

Question

我有一個帶時間戳列的spark數據幀，我想要一個新列，其字符串格式為“ YYYYMM”。

我嘗試過：

df.withColumn('year_month',year(col("timestamp")).cast("string")+month(col("timestamp")).cast("string"))

但是，如果我的時間戳記是2016-10-12，則它在2020年返回為YYYYMM。

Answer 1

您可以使用date_format ：

from pyspark.sql.functions import date_format
df.withColumn('year_month', date_format('timestamp', 'yyyyMM'))