Spark Scala創建外部配置單元表，不能將位置作為變量使用

Question

我正在嘗試從Spark應用程序創建Hive外部表，並將位置作為變量傳遞給SQL命令。 它不會創建Hive表，也看不到任何錯誤。

 val location = "/home/data"
 hiveContext.sql(s"""CREATE EXTERNAL TABLE IF NOT EXISTS TestTable(id STRING,name STRING) PARTITIONED BY (city string)  STORED AS PARQUET LOCATION '${location}' """)

Answer 1

Spark僅支持創建托管表。 即使這樣，仍然存在嚴格的限制：它不支持動態分區表。

TL; DR 不能通過星火創建外部表。 Spark 可以 閱讀它們

Answer 2

不知道哪個版本有此限制。 我使用的是Spark 1.6，Hive 1.1。

我能夠創建外部表，請按照以下步驟操作：

var query = "CREATE EXTERNAL TABLE avro_hive_table ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe'TBLPROPERTIES   ('avro.schema.url'='hdfs://localdomain/user/avro/schemas/activity.avsc')    STORED AS INPUTFORMAT    'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'    OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'    LOCATION    '/user/avro/applog_avro'"
var hiveContext = new org.apache.spark.sql.hive.HiveContext(sc);

hiveContext.sql(query);
var df = hiveContext.sql("select count(*) from avro_hive_table");