Spark-Sql不修復配置單元表就返回0條記錄

Question

我正在執行以下操作：

1. 使用ALTER TABLE ... DROP IF EXISTS PARTITION (col='val1')刪除配置單元分區ALTER TABLE ... DROP IF EXISTS PARTITION (col='val1')
2. hdfs dfs -rm -r path_to_remove
3. 運行提取程序，該程序創建此分區(col='val1')並在HDFS文件夾下創建avro文件。
4. sqlContext.sql("select count(0) from table1 where col='val1'").show返回0，直到MSCK REPAIR TABLE為止。

是否必須執行修復步驟才能在spark-sql再次查看數據？ 請指教。

Answer 1

如果是外部表，是的，您需要修復該表。 我認為您不需要對托管表執行此操作。

SparkSQL從Hive Metastore讀取信息，並且沒有那里有關分區的信息，Spark或使用此Metastore的任何其他工具都無法計數