从日期列中提取年份和月份作为 Pyspark 中的字符串

Question

使用 Pandas，我只需使用即可提取年份和月份； tb['yearmon'] = tb['date'].apply(lambda x: x.strftime('%Y%m'))

我怎样才能在 Pyspark 中做到这一点？

Answer 1

这应该可以正常工作。 基本上使用 pyspark 中内置的 sql 函数来提取年份和月份并将它们与“-”连接起来

from pyspark.sql.functions import year, month, concat_ws
df = spark.createDataFrame([('2015-04-08',)], ['date'])
df.select(concat_ws("-", year('date').alias('year'), month("date").alias("month")).alias("yearmon")).collect()