如何在pyspark dataframe中將時間戳轉換為hive格式？

Question

我在 pyspark dataframe 中有 2 列時間戳。如何根據 hive 表標准轉換這些時間戳

時間戳A	時間戳B
2022:10:11:08:07:22	2022:10:11:08:07:22
2022:11:11:08:07:22	2022:10:11:08:07:22

Hive standards 2022-10-11 08:07:22 動態的怎么做。

任何想法如何實現它？

Answer 1

您可以使用to_timestamp function 並傳遞源時間戳格式來解析它。

spark.sparkContext.parallelize([('2022:10:11:08:07:22', )]).toDF(['ts_str']). \
    withColumn('ts', func.to_timestamp('ts_str', 'yyyy:MM:dd:HH:mm:ss')). \
    show(truncate=False)

# +-------------------+-------------------+
# |ts_str             |ts                 |
# +-------------------+-------------------+
# |2022:10:11:08:07:22|2022-10-11 08:07:22|
# +-------------------+-------------------+