使用 java 對 spark 進行數據處理

Question

我有一個數據集。

+-------------------+
|     Date          |
+-------------------+
|1970-01-01 06:00:00|
+-------------------+

我只想用小時和分鍾。日期列在時間戳上。 我嘗試了以下代碼：

       String format = "HH:mm";
       df.withColumn("hour:minute",unix_timestamp(col("Date"),format)).show(100);

但對我不起作用。

謝謝你。

Answer 1

unix_timestamp將時間戳轉換為紀元/unix 時間。

• 使用date_format 、 from_unixtime(unix_timestamp())函數來提取hour:minute 。

例子：

df.withColumn("hour:minute",date_format(col("Date"),"HH:mm")).show()
df.withColumn("hour:minute",from_unixtime(unix_timestamp(col("Date"),"yyyy-MM-dd HH:mm:ss"),"HH:mm")).show()

//+-------------------+-----------+
//|               Date|hour:minute|
//+-------------------+-----------+
//|1970-01-01 06:00:00|      06:00|
//+-------------------+-----------+