Python-Spark-RDD日期轉換

Question

是否可以在日期時間轉換RDD元素而無需將RDD轉換為DataFrame？

我正在嘗試很多方法，但是我並不幸運。

data.sortBy(lambda l: to_date(l[-2])).collect()
data.sortBy(lambda l: Date.valueOf(l[-2])).collect()
data.sortBy(lambda l: datetime(l[-2])).collect()

有辦法嗎？

謝謝！

Answer 1

sortBy只能更改RDD中元素的順序， sortBy不能更改其內容。 為了實際獲取任何日期時間轉換函數的返回值，必須使用map代替：

data.map(lambda l: datetime(l[-2])).collect()