[英]Converting timestamp to UTC in Spark Scala
我的環境是 Spark 2.1,Scala
這可能很簡單,但我正在崩潰。
我的數據框,myDF 就像波紋管 -
+--------------------+----------------+
| orign_timestamp | origin_timezone|
+--------------------+----------------+
|2018-05-03T14:56:...|America/St_Johns|
|2018-05-03T14:56:...| America/Toronto|
|2018-05-03T14:56:...| America/Toronto|
|2018-05-03T14:56:...| America/Toronto|
|2018-05-03T14:56:...| America/Halifax|
|2018-05-03T14:56:...| America/Toronto|
|2018-05-03T14:56:...| America/Toronto|
+--------------------+----------------+
我需要將 orign_timestamp 轉換為 UTC 並作為新列添加到 DF。 下面的代碼工作正常。
myDF.withColumn("time_utc", to_utc_timestamp(from_unixtime(unix_timestamp(col("orign_timestamp"), "yyyy-MM-dd'T'HH:mm:ss")),("America/Montreal"))).show
問題是我將時區固定為“美國/蒙特利爾”。 我需要通過 timeZone 表單“orign_timeone”列。 我試過
myDF.withColumn("time_utc", to_utc_timestamp(from_unixtime(unix_timestamp(col("orign_timestamp"), "yyyy-MM-dd'T'HH:mm:ss")), col("orign_timezone".toString.trim))).show
got Error:
<console>:34: error: type mismatch;
found : org.apache.spark.sql.Column
required: String
我嘗試了下面的代碼,沒有通過異常但新列與 origin_time 具有相同的時間。
myDF.withColumn("origin_timestamp", to_utc_timestamp(from_unixtime(unix_timestamp(col("orign_timestamp"), "yyyy-MM-dd'T'HH:mm:ss")), col("rign_timezone").toString)).show
每當你遇到這樣的問題時,你可以使用expr
import org.apache.spark.sql.functions._
val df = Seq(
("2018-05-03T14:56:00", "America/St_Johns"),
("2018-05-03T14:56:00", "America/Toronto"),
("2018-05-03T14:56:00", "America/Halifax")
).toDF("origin_timestamp", "origin_timezone")
df.withColumn("time_utc",
expr("to_utc_timestamp(origin_timestamp, origin_timezone)")
).show
// +-------------------+----------------+-------------------+
// | origin_timestamp| origin_timezone| time_utc|
// +-------------------+----------------+-------------------+
// |2018-05-03T14:56:00|America/St_Johns|2018-05-03 17:26:00|
// |2018-05-03T14:56:00| America/Toronto|2018-05-03 18:56:00|
// |2018-05-03T14:56:00| America/Halifax|2018-05-03 17:56:00|
// +-------------------+----------------+-------------------+
或選擇selectExpr
:
df.selectExpr(
"*", "to_utc_timestamp(origin_timestamp, origin_timezone) as time_utc"
).show
// +-------------------+----------------+-------------------+
// | origin_timestamp| origin_timezone| time_utc|
// +-------------------+----------------+-------------------+
// |2018-05-03T14:56:00|America/St_Johns|2018-05-03 17:26:00|
// |2018-05-03T14:56:00| America/Toronto|2018-05-03 18:56:00|
// |2018-05-03T14:56:00| America/Halifax|2018-05-03 17:56:00|
// +-------------------+----------------+-------------------+
如果升級到 Spark 2.4,則可以使用接受 Column 作為 timezone 的重載。
或者,為了對該函數進行類型安全的訪問,您可以使用基礎類:
new Column(
ToUTCTimestamp(
from_unixtime(unix_timestamp(col("orign_timestamp"), "yyyy-MM-dd'T'HH:mm:ss")).expr,
col("orign_timezone").expr
)
)
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.