AWS Glue Catalog作業上的MSCK修復命令
[英]MSCK Repair Command on AWS Glue Catalog job
問題描述
我們可以安排一個AWS Glue作業執行MSCK修復命令，以便將新添加的分區的元數據添加到Glue目錄中嗎？
Glue ETL腳本可以在不調用Athena的情況下執行MSCK REPAIR TABLE命令嗎？
2 個解決方案
解決方案1
0 2018-04-10 23:48:19
這是通過膠粘劑爬行者實現的。 如果創建搜尋器，它將基於新字段更新表並添加新分區。
解決方案2
0 2018-09-08 20:31:53
您可以調用batch_create_partition（）API來執行此操作。 它不需要像MSCK REPAIR TABLE或重新爬網這樣的昂貴操作。 以下是我的詳細答案和代碼示例-
刪除數百個分區后，msck 修復表命令在 AWS Athena 中運行緩慢
[英]msck repair table command runs slow in AWS Athena after deleting few hundred partitions
AWS Glue Crawler 在沒有 Glue Job 的情況下將所有數據發送到 Glue Catalog 和 Athena
[英]AWS Glue Crawler sends all data to Glue Catalog and Athena without Glue Job
如何在 AWS Athena 中自動執行 MSCK REPAIR TABLE
[英]How to make MSCK REPAIR TABLE execute automatically in AWS Athena
AWS Athena MSCK REPAIR TABLE 對於小數據集花費的時間太長
[英]AWS Athena MSCK REPAIR TABLE takes too long for a small dataset
在 AWS Athena 中運行多個 MSCK REPAIR TABLE 語句
[英]Running multiple MSCK REPAIR TABLE statements in AWS Athena
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
AWS更新Athena meta：膠履帶vs MSCK維修表
AWS 膠水作業 (Pyspark) 到 AWS 膠水數據目錄
AWS Glue Job - 將粘合目錄表名稱作為參數傳遞
刪除數百個分區后，msck 修復表命令在 AWS Athena 中運行緩慢
AWS Glue Crawler 在沒有 Glue Job 的情況下將所有數據發送到 Glue Catalog 和 Athena
AWS Glue Python 作業未創建新的數據目錄分區
如何在 AWS Athena 中自動執行 MSCK REPAIR TABLE
AWS Athena MSCK REPAIR TABLE 對於小數據集花費的時間太長
在 AWS Athena 中運行多個 MSCK REPAIR TABLE 語句
MSCK 修復表命令僅在重新創建表后才有效
相關標簽