使用Spark SQL创建带有联接的Hive表时使用的引擎

Question

我从文档中不确定是否在使用Spark中的HiveContext创建Hive表时会使用Spark引擎还是标准的Hive mapreduce作业来执行任务？

val sc = new SparkContext()
val hc = new HiveContext(sc)

hc.sql("""
    CREATE TABLE db.new_table
    STORED AS PARQUET
    AS SELECT
        field1,
        field2,
        field3
    FROM db.src1 
        JOIN db.src2
        ON (x = y)
"""
)

Answer 1

Spark 1.6

Spark SQL使用HiveContext支持Apache Hive。 它使用Spark SQL execution engine来处理存储在Hive中的数据。

above Spark 2.x

val spark = SparkSession .builder（）.appName（“ SparkSessionExample”）.config（“ spark.sql.warehouse.dir”，WarehouseLocation）。 enableHiveSupport() getOrCreate（）

Answer 2

现在，SPARK将使用SPARK API，而不是MR。 即使在spark-submit / program模式下，也不需要像以前一样明确引用Hivecontext。