从以“Hours:minutes:seconds.milliseconds”表示的列值中获取毫秒作为双精度值

Question

我有一个这样的数据框

test_df1 = spark.createDataFrame(
    [
        (1, "-", "-"),
        (1, "97", "00:00:00.02"),
        (1, "78", "00:00:00.02"),
        (2, "83", "00:00:00.02"),
        (2, "14", "00:00:00.02"),
        (2, "115", "00:00:00.02"),
    ],
    ['ID', 'random', 'time']
)
test_df1.show()

+---+------+-----------+
| ID|random|    time   |
+---+------+-----------+
|  1|     -|          -|
|  1|    97|00:00:00.02|
|  1|    78|00:00:00.02|
|  2|    83|00:00:00.02|
|  2|    14|00:00:00.02|
|  2|   115|00:00:00.02|
+---+------+-----------+

如何在 doubletype 中将time列转换为毫秒？ 我目前正在按照下面的说明进行操作，我将秒后的数字作为字符串，然后将其转换为双精度。 有没有更好的方法？

test_df2 = test_df1.withColumn("time", F.substring_index("time", '.', -1).cast("double"))
test_df2.show()

+---+------+----+
| ID|random|time|
+---+------+----+
|  1|  null|null|
|  1|  97.0| 2.0|
|  1|  78.0| 2.0|
|  2|  83.0| 2.0|
|  2|  14.0| 2.0|
|  2| 115.0| 2.0|
+---+------+----+

Answer 1

我最终做的是将time列转换为时间戳，然后转换为 unix 时间，之后我将今天的时间戳减少为 unix 时间。 这给了我几秒钟的时间，我可以用它来获得 ms 或 ns 或其他什么。

import datetime
from time import mktime

today = datetime.date.today()
unixtime = mktime(today.timetuple())

test_df1 = test_df1.withColumn('time_to_timestamp', to_timestamp('time')) \
                    .withColumn("unix_time_w_ms", col("time_to_timestamp").cast("double")) \
                    .withColumn("time_in_s", col("unix_time_w_ms") - unixtime) \
                    .withColumn("time_in_s", round(col('time_in_s'), 3))

test_df1.show()

+---+------+-----------+--------------------+---------------+---------+
| ID|random|       time|   time_to_timestamp| unix_time_w_ms|time_in_s|
+---+------+-----------+--------------------+---------------+---------+
|  1|     -|          -|                null|           null|     null|
|  1|    97|00:00:00.02|2020-11-20 00:00:...|1.60583040002E9|     0.02|
|  1|    78|00:00:00.02|2020-11-20 00:00:...|1.60583040002E9|     0.02|
|  2|    83|00:00:00.02|2020-11-20 00:00:...|1.60583040002E9|     0.02|
|  2|    14|00:00:00.02|2020-11-20 00:00:...|1.60583040002E9|     0.02|
|  2|   115|00:00:00.02|2020-11-20 00:00:...|1.60583040002E9|     0.02|
+---+------+-----------+--------------------+---------------+---------+

我仍然觉得这可以做得更好，也许没有这么多的withColumn使用，好像我必须用巨大的数据withColumn循环这个我读过withColumn使用不是首选。