CAST(unix_timestamp(Column,Format)) 使用 scala 在 Spark 中顯示錯誤的日期

Question

我是新來的火花。 我需要更改字符串中的 spark 數據幀中的日期格式。 我需要刪除 / 以及 00:00:00。 我試着用

to_date(unix_timestamp($"Date", "YYYY-MM-DD 00-00-00").cast("timestamp"))  

格式正在按預期變化，但有一些隨機日期。 我發現問題出在unix_timestamp數據幀是從 CSV 文件導入的。 我得到了一個使用正則表達式的解決方案，但最好知道它為什么不起作用。

使用的代碼：（代碼可能不准確但相似）

df.select(unix_timestamp($"Date", "MM-DD-YYYY hh:mm:ss").cast("timestamp"),$"Date")

示例輸出：

Answer 1

嘗試這樣的事情：

df.select((unix_timestamp($"Date", "MM/dd/yyyy HH:mm:ss") * 1000).cast("timestamp"), $"Date")

有關詳細信息，請參見此處。