在 Spark 中，我无法使用 hive 支持创建表

Question

我正在尝试遵循以下示例

找不到火花仓库目录

使用 hive 支持创建表，但我不断收到此错误消息：

org.apache.spark.sql.AnalysisException: Hive support is required to CREATE Hive TABLE (AS SELECT);
'CreateTable `default`.`sales`, org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe, ErrorIfExists
+- Project [num#2]
   +- SubqueryAlias test
      +- View (`test`, [num#2])
         +- Project [1 AS num#2]
            +- OneRowRelation

  at org.apache.spark.sql.errors.QueryCompilationErrors$.ddlWithoutHiveSupportEnabledError(QueryCompilationErrors.scala:1270)
  at org.apache.spark.sql.execution.datasources.HiveOnlyCheck$.$anonfun$apply$4(rules.scala:438)

下面是我的代码

import org.apache.spark.sql.SparkSession
import org.apache.spark.SparkContext
import java.io.File

val sc = new SparkContext("local[*]", "LoadFiles1") 
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val warehouseLocation =  new File("spark-warehouse").getAbsolutePath
val spark = SparkSession
    .builder()
    .appName("Spark Hive Example")
    .config("spark.sql.warehouse.dir", warehouseLocation)
    .enableHiveSupport()
    .getOrCreate()    

spark.sql("select 1 as num ").registerTempTable("test")
spark.sql("create table sales as select * from test")

Answer 1

在我看来，您缺少一个参数。 它对我有用，然后我在 spark 配置中添加 ("spark.sql.catalogImplementation","hive")。

有了这样的参数，你想运行的代码就可以在我的电脑上运行：

  val conf = new SparkConf()
    .set("spark.driver.bindAddress", "127.0.0.1")
    .set("spark.sql.warehouse.dir", "/Users/19658296/csp-fp-snaphot/library/src/test/resources/warehouseLocation")
    .set("spark.sql.catalogImplementation","hive")

  val spark = SparkSession.builder.master("local[*]")
    .appName("testGetSnp")
    .config(conf)
    .getOrCreate
  spark.sparkContext.hadoopConfiguration.set("fs.defaultFS", "file:///")

也尝试重新回答这个答案，它看起来很重要。