Python-Spark-RDD日期转换

Question

是否可以在日期时间转换RDD元素而无需将RDD转换为DataFrame？

我正在尝试很多方法，但是我并不幸运。

data.sortBy(lambda l: to_date(l[-2])).collect()
data.sortBy(lambda l: Date.valueOf(l[-2])).collect()
data.sortBy(lambda l: datetime(l[-2])).collect()

有办法吗？

谢谢！

Answer 1

sortBy只能更改RDD中元素的顺序， sortBy不能更改其内容。 为了实际获取任何日期时间转换函数的返回值，必须使用map代替：

data.map(lambda l: datetime(l[-2])).collect()