在Spark 1.6中創建類似於temptable的表

Question

我在pyspark有一個名為df的數據框。

我已經將此df注冊為temptable

df.registerTempTable('mytempTable')

現在，我想使用create table like語句在hive創建一個表。

sqlContext.sql("create table {}.{} like mytempTable".format(hivedb,table))

但是我收到如下錯誤

pyspark.sql.utils.AnalysisException: u"cannot recognize input near 'like' 'mytempTable' '<EOF>' in select clause; line 1 pos 59"

我已找到此問題的JIRA ，看起來該問題已在spark 2.0修復。

問題是我的spark版本是1.6 。

在spark 1.6是否可以解決此問題。

JIRA鏈接在這里https://issues.apache.org/jira/browse/SPARK-5720

Answer 1

嘗試這個：

sqlContext.sql("create table {}.{} as select * from mytempTable ".format(hivedb,table))

要么：

df.write.mode("overwrite").saveAsTable("{}.{}".format(hivedb,table))