限制AWS Data Pipeline上的并发执行
[英]Limit concurrent executions on AWS Data Pipeline
问题描述
有没有办法限制AWS Data Pipeline上的并发执行？ 我们需要将同时执行限制为1。
类似于Oozie的<concurrency>属性吗？
来自oozie docs：
并发：可以同时运行此作业的最大操作数。 此值允许实现并提交协调器应用程序的多个实例，并允许操作赶上延迟的处理。 默认值为1。
1 个解决方案
解决方案1
2 已采纳 2018-02-12 04:50:52
您可以使用EC2Resource / EmrCluster下的maxActiveInstances字段来实现此目的。
参考-
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html
我如何使用 boto3 在 AWS lambda 中获得最大并发执行数、最小值和平均值
[英]How do i get the maximum number of concurrent executions,minimum and average in AWS lambda using boto3
如何以秒为单位监控 Lambda 并发执行（或找到更好的解决方案来限制 Lambda 并发执行）？
[英]How Could I Monitor Lambda Concurrent Executions on a Second-by-Second Basis (or Find a Better Solution to Limit Lambda ConcurrentExecutions)?
AWS DynamoDB 中一张表的并发 put 请求的限制是多少
[英]what is the limit of concurrent put requests for one table in AWS DynamoDB
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
我可以限制 AWS Lambda 的并发调用吗？
AWS Cognito 中每个用户是否有并发会话限制？
我如何使用 boto3 在 AWS lambda 中获得最大并发执行数、最小值和平均值
AWS数据管道
AWS Data Pipeline中的ShellCommandActivity
AWS数据管道错误
如何以秒为单位监控 Lambda 并发执行（或找到更好的解决方案来限制 Lambda 并发执行）？
如何达到 AWS Lambda 并发执行限制？
AWS Lambda > 达到并发限制时会发生什么
AWS DynamoDB 中一张表的并发 put 请求的限制是多少
相关标签