當 Google 存儲設置為屬性中的位置時 MSCK 命令拋出錯誤

Question

我有一個外部分區的配置單元表，其位置設置為“gs://xxxx”。我手動添加了一些分區，為了將這些分區注冊到配置單元元存儲，我運行了 MSCK REPAIR 命令，該命令引發以下錯誤：

失敗：執行錯誤，從 org.apache.hadoop.hive.ql.exec.DDLTask 返回代碼 1

請讓我知道為什么會生成此錯誤

Answer 1

嘗試這個 -

set hive.msck.path.validation=ignore; MSCK REPAIR TABLE table_name;

如果它不起作用，請檢查 DDL 和分區字段。 請記住，僅支持 Int 和 String 作為分區值

Answer 2

解決方案是運行 Alter Table 並將位置設置為 gcs 中的子目錄，如下所示。

ALTER TABLE TABLENAME SET LOCATION gs://crazybucketstring/schemname/tableaname/

如果您有興趣了解為什么msck repair出錯， msck repair閱讀此答案Drop Hive Table & msck repair failed with Table stored in google cloud bucket

此問題與您的表的 gs 位置有關。 即使在其他答案中給出的忽略路徑驗證的 msck 修復有效，但它無法解決潛在的問題。