PySpark刪除列中的無效日期時間格式

Question

我的日期時間字段格式為：2016-10-15 00:00:00使用推斷架構，同時將我的數據保存到鑲木地板文件，我有幾行不符合此格式。

如何在PySpark中集體刪除它們？

它在我的UDF中引起了我的問題。

Answer 1

假設您正在解析日期列，並且具有無效日期的行為空，通常是這種情況：

df.filter(col('date').isNotNull())

或者，如果您的日期作為字符串讀取，您可以使用unix_timestamp解析它：

(
    df
    .select(unix_timestamp('date', 'yyyy-MM-dd HH:mm:ss').cast("timestamp").alias('date'))
    .filter(col('date').isNotNull())
)