繁体   English   中英

无法从Spark保存数据框作为配置单元表,这引发Serde异常

[英]Unable to save dataframe as hive table from spark which is throwing serde exception

我已将其中一个表加载到数据框中,并尝试将其保存为配置单元表

var RddTableName= objHiveContext.sql("select * from tableName")
val dataframeTable = RddTableName.toDF()
dataframeTable.write.format("orc").mode(SaveMode.Overwrite).saveAsTable("test.myTable")

我在异常org.apache.hadoop.hive.ql.metadata.HiveException之下:java.lang.RuntimeException:从[public java.util.ArrayList org.apache.hadoop.hive.serde2.ColumnSet中找不到字段mytable。彩色]

发生上述异常是因为我试图覆盖要在此处查找现有表“ myTable”的(并且不存在),因此要创建新表,我们必须使用saveMode.Ignore或ErrorIfExists。 您可以通过映射数据库路径在选项中提及数据库名称

首先设置hcontext.sql(“ use database”)您不能将数据库放入saveAsTable

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM