限制AWS Data Pipeline上的並發執行
[英]Limit concurrent executions on AWS Data Pipeline
問題描述
有沒有辦法限制AWS Data Pipeline上的並發執行？ 我們需要將同時執行限制為1。
類似於Oozie的<concurrency>屬性嗎？
來自oozie docs：
並發：可以同時運行此作業的最大操作數。 此值允許實現並提交協調器應用程序的多個實例，並允許操作趕上延遲的處理。 默認值為1。
1 個解決方案
解決方案1
2 已采納 2018-02-12 04:50:52
您可以使用EC2Resource / EmrCluster下的maxActiveInstances字段來實現此目的。
參考-
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-ec2resource.html
我如何使用 boto3 在 AWS lambda 中獲得最大並發執行數、最小值和平均值
[英]How do i get the maximum number of concurrent executions,minimum and average in AWS lambda using boto3
如何以秒為單位監控 Lambda 並發執行（或找到更好的解決方案來限制 Lambda 並發執行）？
[英]How Could I Monitor Lambda Concurrent Executions on a Second-by-Second Basis (or Find a Better Solution to Limit Lambda ConcurrentExecutions)?
AWS DynamoDB 中一張表的並發 put 請求的限制是多少
[英]what is the limit of concurrent put requests for one table in AWS DynamoDB
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
我可以限制 AWS Lambda 的並發調用嗎？
AWS Cognito 中每個用戶是否有並發會話限制？
我如何使用 boto3 在 AWS lambda 中獲得最大並發執行數、最小值和平均值
AWS數據管道
AWS Data Pipeline中的ShellCommandActivity
AWS數據管道錯誤
如何以秒為單位監控 Lambda 並發執行（或找到更好的解決方案來限制 Lambda 並發執行）？
如何達到 AWS Lambda 並發執行限制？
AWS Lambda > 達到並發限制時會發生什么
AWS DynamoDB 中一張表的並發 put 請求的限制是多少
相關標簽