[英]Spark 2.3 (Scala) - Convert a timestamp column from UTC to timezone specified in another column
我有一个包含如下数据的数据框:
+----------------------+------------+
| utc_timestamp | tz_locale |
+----------------------+------------+
|2021-07-16T10:00:00Z | US/Eastern |
|2021-07-19T15:00:00Z | US/Central |
+----------------------+------------+
我想根据tz_locale
列中的值将时间戳从 UTC (TZ 0) 转换为本地时间:
+----------------------+------------+
| utc_timestamp | tz_locale |
+----------------------+------------+
|2021-07-16T06:00:00Z | US/Eastern |
|2020-12-19T09:00:00Z | US/Central |
+----------------------+------------+
我试着这样写:
val new_df = df.withColumn("utc_timestamp", from_utc_timestamp(df.col("utc_timestamp"), df.col("tz_locale")))
看来from_utc_timestamp
一个 String 常量作为第二个参数,所以它显然只能将整个列转换为相同的时区。 但是我需要根据该行中另一列的值动态转换每一行。
我认为这在较新版本的 Spark 中是可能的( from_utc_timestamp
因采用(DataFrame.col, DataFrame.col)
的版本而过载),但我使用的是 2.3 并且升级不是一种选择。 如何在 Spark 2.3 中做到这一点? 这似乎是一项相当常见的任务,但我无法弄清楚,并且无法使用搜索找到任何内容。
对于 Spark 2.3 或更早版本,您可以通过expr
使用类型约束较少的 SQL 表达式:
df.withColumn("utc_timestamp", expr("from_utc_timestamp(utc_timestamp, tz_locale)")).show
+-------------------+----------+
| utc_timestamp| tz_locale|
+-------------------+----------+
|2021-07-15 23:00:00|US/Eastern|
|2021-07-19 03:00:00|US/Central|
+-------------------+----------+
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.