繁体   English   中英

PySpark 字符串到时间戳的转换

PySpark string to timestamp conversion

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

如何使用 PySpark 将时间戳作为字符串转换为“yyyy-mm-ddThh:mm:ss.sssZ”格式的时间戳?

输入时间戳(字符串),df:

| col_string            |
| :-------------------- |
| 5/15/2022 2:11:06 AM  |

所需的 output(时间戳),df:

| col_timestamp           |
| :---------------------- |
| 2022-05-15T2:11:06.000Z |
1 个回复

to_timestamp可用于提供可选的format参数。

from pyspark.sql import functions as F
df = spark.createDataFrame([("5/15/2022 2:11:06 AM",)], ["col_string"])

df = df.select(F.to_timestamp("col_string", "M/dd/yyyy h:mm:ss a").alias("col_ts"))
df.show()
# +-------------------+
# |             col_ts|
# +-------------------+
# |2022-05-15 02:11:06|
# +-------------------+

df.printSchema()
# root
#  |-- col_ts: timestamp (nullable = true)
1 PySpark:字符串到时间戳的转换

我正在使用时间数据,并尝试将字符串转换为时间戳格式。 这是“时间”列的外观 这就是我想要的 我发现了一些类似的问题和答案,并尝试了这些代码,但都以“ null”结尾 ...

2019-03-07 02:46:06 1 256   pyspark
3 pySpark 时间戳作为字符串到 DateTime

我从 CSV 中读取,其中列时间包含毫秒为“1414250523582”的时间戳,当我在架构中使用 TimestampType 时,它返回 NULL。 它准备好我的数据的唯一方法是使用 StringType。 现在我需要将此值作为日期时间以进行处理。 首先,我用这个摆脱了长时间戳: 架构检查说它现 ...

2021-03-31 21:21:57 1 30   pyspark
6 pyspark 中的字符串到时间戳转换

我对 pyspark 完全陌生,我有一个输入文件('|' 分隔),其值如下|2013-12-20 00:00:00|19:00:00| |2013-12-21 00:00:00|18:00:00| 我有一个 json 来在此输入 dataframe 上应用架构,但是当我将数据类型指定为所有字符串时, ...

7 Datastage字符串转换为时间戳

我的任务是转换一个字符串,该字符串可以采用不同的格式,例如(mm / dd / yyyy,m / dd / yyyy或mm / d / yyyy)。 但是,需要将其转换为以下格式的时间戳(yyyy-mm-dd-00.00.000000)。 我在Transformer阶段尝试了多种转换技术; ...

8 推土机字符串到时间戳的转换

我已经将推土机配置设置为具有以下默认日期格式: yyyy-MM-dd HH:mm:ss.SSS 但是,当JUnit测试此对象时,我设置了我的对象,然后setCreated_timeStampString(“ 2013-05-12 19:05:32.887983”); 调用映射器以从源 ...

9 字符串到时间戳转换

我有一个表格,其中日期作为字符串函数给出,以橙色突出显示,并希望转换为时间戳字段,如所附表格中以黄色突出显示。 有人可以帮我如何使用该函数并将其转换为访问中的时间戳列吗? 感谢您。 ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM