如何在 PySpark 中轉換“/Date(epoch time)/”字符串

Question

我有一個 json 文件，其中 json 中的所有日期都在/Date(1602949450000)/

json 也是嵌套的。 有沒有一種通用的方法可以將所有/Date()/解析為時間戳？

我試過regexp_replace但我無法將捕獲組轉換為時間戳。

regexp_replace("value", "\\/Date\\((\\-?\\d*?)([\\+\\-]\\d*)?\\)\\/","$1")

Answer 1

您的正則表達式是正確的，但問題似乎是"$1" 。 當我用1運行代碼而不是為我工作時：

dates_df = dates_df.withColumn(
    'date_extracted',
    F.regexp_extract("date", "\\/Date\\((\\-?\\d*?)([\\+\\-]\\d*)?\\)\\/", 1)
)

一個更簡單的正則表達式做同樣的事情是：

dates_df = dates_df.withColumn(
    'date_extracted',
    F.regexp_extract("date", "^.+(\d{13}).+$", 1)
)