AWS Glue Catalog作业上的MSCK修复命令
[英]MSCK Repair Command on AWS Glue Catalog job
问题描述
我们可以安排一个AWS Glue作业执行MSCK修复命令，以便将新添加的分区的元数据添加到Glue目录中吗？
Glue ETL脚本可以在不调用Athena的情况下执行MSCK REPAIR TABLE命令吗？
2 个解决方案
解决方案1
0 2018-04-10 23:48:19
这是通过胶粘剂爬行者实现的。 如果创建搜寻器，它将基于新字段更新表并添加新分区。
解决方案2
0 2018-09-08 20:31:53
您可以调用batch_create_partition（）API来执行此操作。 它不需要像MSCK REPAIR TABLE或重新爬网这样的昂贵操作。 以下是我的详细答案和代码示例-
删除数百个分区后，msck 修复表命令在 AWS Athena 中运行缓慢
[英]msck repair table command runs slow in AWS Athena after deleting few hundred partitions
AWS Glue Crawler 在没有 Glue Job 的情况下将所有数据发送到 Glue Catalog 和 Athena
[英]AWS Glue Crawler sends all data to Glue Catalog and Athena without Glue Job
如何在 AWS Athena 中自动执行 MSCK REPAIR TABLE
[英]How to make MSCK REPAIR TABLE execute automatically in AWS Athena
AWS Athena MSCK REPAIR TABLE 对于小数据集花费的时间太长
[英]AWS Athena MSCK REPAIR TABLE takes too long for a small dataset
在 AWS Athena 中运行多个 MSCK REPAIR TABLE 语句
[英]Running multiple MSCK REPAIR TABLE statements in AWS Athena
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
AWS更新Athena meta：胶履带vs MSCK维修表
AWS 胶水作业 (Pyspark) 到 AWS 胶水数据目录
AWS Glue Job - 将粘合目录表名称作为参数传递
删除数百个分区后，msck 修复表命令在 AWS Athena 中运行缓慢
AWS Glue Crawler 在没有 Glue Job 的情况下将所有数据发送到 Glue Catalog 和 Athena
AWS Glue Python 作业未创建新的数据目录分区
如何在 AWS Athena 中自动执行 MSCK REPAIR TABLE
AWS Athena MSCK REPAIR TABLE 对于小数据集花费的时间太长
在 AWS Athena 中运行多个 MSCK REPAIR TABLE 语句
MSCK 修复表命令仅在重新创建表后才有效
相关标签