如果Spark出現錯誤，則刪除Hive表

Question

我有Hive，MySQL和Spark。 MySQL是Hive metastore_db。 我遵循此指南對其進行配置（ http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.0/CDH4-Installation-Guide/cdh4ig_topic_18_4.html ）。 我可以在蜂巢外殼環境下執行drop table命令。 但是，當我進入spark-shell env時，我使用的是hiveContext.hql("DROP TABLE IF EXISTS hivetesting") 。 然后，出現以下錯誤：

ERROR Hive: NoSuchObjectException(message:default.hivetesting table not found)
at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result$get_table_resultStandardScheme.read(ThriftHiveMetastore.java:27129)
at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result$get_table_resultStandardScheme.read(ThriftHiveMetastore.java:27097)
at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result.read(ThriftHiveMetastore.java:27028)
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:78)
at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.recv_get_table(ThriftHiveMetastore.java:936)
at org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$Client.get_table(ThriftHiveMetastore.java:922)
at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.getTable(HiveMetaStoreClient.java:854)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.invoke(RetryingMetaStoreClient.java:89)
at com.sun.proxy.$Proxy11.getTable(Unknown Source)
at org.apache.hadoop.hive.ql.metadata.Hive.getTable(Hive.java:950)
......

每個命令都在hive shell下成功運行。 同時，hiveContext在spark-shell通過show tables create table src(id string)並select count(*) from src中select count(*) from src 。 除刪除表（如果該表不存在）之外。 刪除表可以在表存在時成功運行。

我該怎么做才能解決這個問題？

非常感謝您的幫助。

Answer 1

這個問題在Spark 1.5.1中不存在。 我可以成功打電話

hiveContext.sql('DROP TABLE IF EXISTS test_table')

Spark是一個快速發展的平台，版本之間會發生變化。