使用Spark SQL創建帶有聯接的Hive表時使用的引擎

Question

我從文檔中不確定是否在使用Spark中的HiveContext創建Hive表時會使用Spark引擎還是標准的Hive mapreduce作業來執行任務？

val sc = new SparkContext()
val hc = new HiveContext(sc)

hc.sql("""
    CREATE TABLE db.new_table
    STORED AS PARQUET
    AS SELECT
        field1,
        field2,
        field3
    FROM db.src1 
        JOIN db.src2
        ON (x = y)
"""
)

Answer 1

Spark 1.6

Spark SQL使用HiveContext支持Apache Hive。 它使用Spark SQL execution engine來處理存儲在Hive中的數據。

above Spark 2.x

val spark = SparkSession .builder（）.appName（“ SparkSessionExample”）.config（“ spark.sql.warehouse.dir”，WarehouseLocation）。 enableHiveSupport() getOrCreate（）

Answer 2

現在，SPARK將使用SPARK API，而不是MR。 即使在spark-submit / program模式下，也不需要像以前一樣明確引用Hivecontext。