使用 AWS CloudFormation 为 AWS Glue 作业启用自动缩放功能
[英]Enable autoscaling feature for AWS Glue Jobs using AWS CloudFormation
问题描述
最近 AWS 宣布了一项针对 Glue ETL 和流作业的自动缩放功能。 我今天看到我目前工作的地区现在支持此功能。
我可以使用控制台确认这是否有效，如文档中所述。
我想知道是否可以使用 CloudFormation 启用此功能。 在CloudFormation 文档中，我没有看到任何可以启用此功能的设置。
我猜这只有在该功能退出预览模式后才可用，但我不是 100% 确定。 有人对此了解更多吗？ 或者有人可以证实我的假设吗？
1 个解决方案
解决方案1
3 已采纳 2022-03-08 14:53:10
看起来您只需将正确的参数传递给作业即可启用自动缩放，而无需等待任何资源更新。
这是一个从文档中启用书签的示例，您应该能够传递 "--enable-auto-scaling": "true" 。
默认参数：“--job-bookmark-option”：“job-bookmark-enable”
使用 Docker 容器在本地开发 AWS Glue ETL 作业
[英]Issue developing AWS Glue ETL jobs locally using a Docker container
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
如何使用 CloudFormation 更新 AWS Glue 作业
aws glue cloudformation镶木地板工作
使用 Docker 容器在本地开发 AWS Glue ETL 作业
使用 CloudFormation 模板启用 AWS Security Hub
有没有办法从 AWS Glue 作业发布自定义指标？
在 AWS Glue 中流式传输 ETL 作业，费用如何？
AWS 中的 Kube.netes 自动缩放
在 AWS EKS 中自动扩展 POD
RDS（动态架构）-> 使用 AWS Glue 的 AWS opensearch
使用 AWS Glue 将 AWS Redshift 转换为 S3 Parquet 文件
相关标签