如何將數據幀數據類型轉換為String？

Question

我有一個具有Date和Timestamp數據類型的配置單元表。 我正在使用以下java代碼創建DataFrame ：

SparkConf conf = new SparkConf(true).setMaster("yarn-cluster").setAppName("SAMPLE_APP");
SparkContext sc = new SparkContext(conf);
HiveContext hc = new HiveContext(sc);
DataFrame df = hc.table("testdb.tbl1");

數據幀架構：

 df.printSchema
root
 |-- c_date: date (nullable = true)
 |-- c_timestamp: timestamp (nullable = true)

我想將這些列轉換為String。 我怎樣才能做到這一點？

因為問題我需要這個： 對於Hive的日期和時間戳數據類型，Spark csv數據驗證失敗

Answer 1

在scala中，我們通常會拋出這樣的數據類型：

df.select($"date".cast(StringType).as("new_date"))

Answer 2

您可以執行以下操作：

df.withColumn("c_date", df.col("c_date").cast(StringType))