[英]How to covert dataframe datatypes to String?
我有一个具有Date
和Timestamp
数据类型的配置单元表。 我正在使用以下java代码创建DataFrame
:
SparkConf conf = new SparkConf(true).setMaster("yarn-cluster").setAppName("SAMPLE_APP");
SparkContext sc = new SparkContext(conf);
HiveContext hc = new HiveContext(sc);
DataFrame df = hc.table("testdb.tbl1");
数据帧架构:
df.printSchema
root
|-- c_date: date (nullable = true)
|-- c_timestamp: timestamp (nullable = true)
我想将这些列转换为String。 我怎样才能做到这一点?
因为问题我需要这个: 对于Hive的日期和时间戳数据类型,Spark csv数据验证失败
在scala中,我们通常会抛出这样的数据类型:
df.select($"date".cast(StringType).as("new_date"))
您可以执行以下操作:
df.withColumn("c_date", df.col("c_date").cast(StringType))
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.