Spark Scala创建外部配置单元表，不能将位置作为变量使用

Question

我正在尝试从Spark应用程序创建Hive外部表，并将位置作为变量传递给SQL命令。 它不会创建Hive表，也看不到任何错误。

 val location = "/home/data"
 hiveContext.sql(s"""CREATE EXTERNAL TABLE IF NOT EXISTS TestTable(id STRING,name STRING) PARTITIONED BY (city string)  STORED AS PARQUET LOCATION '${location}' """)

Answer 1

Spark仅支持创建托管表。 即使这样，仍然存在严格的限制：它不支持动态分区表。

TL; DR 不能通过星火创建外部表。 Spark 可以 阅读它们

Answer 2

不知道哪个版本有此限制。 我使用的是Spark 1.6，Hive 1.1。

我能够创建外部表，请按照以下步骤操作：

var query = "CREATE EXTERNAL TABLE avro_hive_table ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'TBLPROPERTIES   ('avro.schema.url'='hdfs://localdomain/user/avro/schemas/activity.avsc')    STORED AS INPUTFORMAT    'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'    LOCATION    '/user/avro/applog_avro'"
var hiveContext = new org.apache.spark.sql.hive.HiveContext(sc);

hiveContext.sql(query);
var df = hiveContext.sql("select count(*) from avro_hive_table");