簡體   English   中英

刪除數百個分區后,msck 修復表命令在 AWS Athena 中運行緩慢

[英]msck repair table command runs slow in AWS Athena after deleting few hundred partitions

我從 AWS Athena 表中刪除了大約 700 個分區數據 (s3)。

要更新分區信息,我正在運行MSCK Repair table命令,但運行時間超過 7 分鍾

在刪除 700 個分區之前, msck repair table命令的運行時間過去不到 15 秒

我提到:

  1. https://aws.amazon.com/premiumsupport/knowledge-center/athena-msck-repair-table-time-out/

  2. 對於小型數據集,AWS Athena MSCK REPAIR TABLE 花費的時間太長

  3. MSCK REPAIR TABLE 表名需要很長時間

遵循步驟,但無濟於事。

有人遇到過這個問題並解決了嗎?

最后,一個解決方法!

注意:僅當您知道在您的場景中刪除和重新創建表的后果時,才使用以下方法。

刪除並重新創建表解決了這個問題。

我按照以下步驟使“msck repair table”命令正常運行:

  1. 在編輯器中復制 Athena 表的 DDL
  2. 刪除雅典娜表
  3. 使用步驟 1 中的 DDL 重新創建 Athena 表。
  4. 運行msck repair table命令。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM