pySpark 时间戳作为字符串到 DateTime

Question

我从 CSV 中读取，其中列时间包含毫秒为“1414250523582”的时间戳，当我在架构中使用 TimestampType 时，它返回 NULL。 它准备好我的数据的唯一方法是使用 StringType。

现在我需要将此值作为日期时间以进行处理。 首先，我用这个摆脱了长时间戳：

df2 = df.withColumn("date", col("time")[0:10].cast(IntegerType()))

架构检查说它现在是 integer。 现在我试着让它成为一个约会时间

df3 = df2.withColumn("date", datetime.fromtimestamp(col("time")))

它返回

TypeError: an integer is required (got type Column)

当我用谷歌搜索时，人们总是只使用 col("x") 来读取和转换数据，那么我在这里做错了什么？

Answer 1

模式检查有点棘手； 该列中的数据可能是pyspark.sql.types.IntegerType ，但这不等同于 Python 的int类型。 The col function returns a pyspark.sql.column.Column object, which often do not play nicely with vanilla Python functions like datetime.fromtimestamp . 这解释了 TypeError。 Even though the "date" data in the actual rows is an integer, col doesn't allow you to access it as an integer to feed into a python function quite so simply. To apply arbitrary Python code to that integer value, you can compile a udf pretty easily, but in this case, pyspark.sql.functions already has a solution for your unix timestamp. 试试这个： df3 = df2.withColumn("date", from_unixtime(col("time"))) ，您应该会在 2014 年为您的示例看到一个不错的日期。

小提示：这个“日期”列将是StringType 。