標簽[aws-batch] - 堆棧內存溢出

[英]running aws batch jobs manually

我正在使用 Pytest 框架為我們基於 GUI 的應用程序之一開發自動化測試。我創建了一個 docker 圖像，其中包含針對特定 GUI 功能的一系列測試，並將其作為圖像存儲在 AWS ECR 中。我還設置了一個帶有 cron 計划的 AWS Batch 計算環境，以觸發測試（圖像）工作正常的特 ...

在 EventBridge 規則中為 AWS Batch 作業指定共享標識符

[英]Specifying Share Identifier in EventBridge rule for an AWS Batch job

我正在為 Eventbridge 規則觸發的 AWS Batch 作業編寫 cloudformation 模板。但是，我收到以下錯誤：必須指定 shareIdentifier。（服務：AWSBatch；狀態代碼：400；錯誤代碼：ClientException；我找不到任何關於如何將 sh ...

使用 R 在 AWS Batch 中運行多節點並行作業

[英]Running multi-node parallel job in AWS Batch using R

我正在嘗試在運行 R 腳本的 AWS Batch 中構建多節點並行作業。我的 R 腳本為多個用戶獨立運行多個統計模型。因此，我想拆分並分發在多台服務器集群上並行運行的作業，以加快執行速度。我的理解是，在某些時候我必須使用推送到 ECR 的 Dockerfile 准備我的 R 應用程序代碼的容器 ...

AWS Batch 容器錯誤：“找不到用戶”

[英]AWS Batch Container Error: "no users found"

觸發批處理作業（Fargate 作業隊列）時，狀態將變為 FAILED，並顯示以下錯誤消息：無法啟動容器錯誤：ResourceInitializationError：無法創建新容器：/tmp/containerd-mount3975084381 上的掛載回調失敗：找不到用戶不幸的是，我在網上找不 ...

如何在運行時更改 AWS Batch 的根卷大小

[英]How do I change root volume size of AWS Batch at runtime

我有一個向 AWS 發出請求以啟動批處理作業的應用程序。工作各不相同，因此每個工作的資源需求都會發生變化。很清楚如何更改 CPU 和 memory，但是我無法弄清楚如何指定根卷大小，或者甚至可能這是我正在運行的代碼示例：import boto3 client = boto3.client('b ...

如何使用 MultiProcessing、mp.Manager() 運行多個 AWS Batch 作業，而不會出現端口地址沖突錯誤地址已在使用中？

[英]How do you run multiple AWS Batch jobs with MultiProcessing, mp.Manager(), without conflicting port addresses error Address already in use?

使用多處理時如何解決 AWS Batch 端口分配沖突？我正在使用多處理運行多個批處理容器。當兩個批處理作業運行時，它們會失敗，地址已被使用。 This SO question has the same problem Docker container with Selenium and C ...

動態數組作業大小 AwsBatchOperator

[英]Dynamic arrayjob size AwsBatchOperator

我有一個計算工作，我希望根據費用動態擴展。由於計算是在 AWS 批處理上完成的，我想使用 array_size 參數，這是我在 airflow 中使用 AwsBatchOperator 的方法：但是，據我對文檔的理解，array_properties 參數不是“模板化的”（不知道為什么），所以 ...

無法使用 !Ref 在 Cloudformation 中創建 AWS Batch JobDefinition JobRoleArn

[英]Can't create a AWS Batch JobDefinition JobRoleArn in Cloudformation using a !Ref

我正在嘗試在 Cloudformation 中創建批處理設置。我在資源中有一個 IAM 角色：然后在我的 JobDefinition 我有：當我嘗試構建堆棧時，我得到：調用 RegisterJobDefinition 操作時發生錯誤（ClientException）：執行請求時出錯，異常： ...

aws批處理上的非法指令

[英]illegal instruction on aws batch

我正在嘗試提交一個演示作業來進行批量計算，以測試我是否可以正確使用 python 模塊“cppyy”。但是，我收到“非法指令”核心轉儲錯誤。有趣的是，如果我在本地 ec2 實例上運行的容器（相同圖像）上運行作業，我沒有收到任何錯誤消息。以下腳本， test.py用於入口點， python3 t ...

AWS Batch 作業很長的 STARTING 時間

[英]AWS Batch job long STARTING time

我遇到了 AWS Batch 作業開始時間長的問題。它是隨機的，有時從 STARTING 過渡到 RUNNING 需要一秒鍾，但有時需要 10 多分鍾。根據文檔，在 STARTING state 容器啟動操作已完成，所以我知道在計算環境中新創建的機器上下載和運行容器可能需要一些時間，但它也會發生 ...

AWS lambda 或 AWS 批處理根據特定標准從發電機數據庫中刪除行

[英]AWS lambda or AWS batch to delete rows from dynamo DB based on certain criteria

我有一個要求，我需要根據不需要實時的標准刪除記錄，記錄存儲在發電機數據庫中。 AWS lambda 可以安排在每天晚上 11 點前運行我可以 package 一個 cron 作業還是 go 更好。謝謝 ...

在 ECS 與 AWS Batch 之間進行選擇

[英]Selecting between ECS vs AWS Batch

AWS Batch 文檔說它基於 ECS。那么為什么我們不應該只使用 ECS 呢？ AWS Batch 提供了哪些 ECS 中沒有的緊迫優勢？兩者都提供自動縮放。 jbos 的排隊和優先級是 AWS Batch 的唯一優勢嗎？ ...

AWS Step Function - 將輸入傳遞給 AWS 批處理作業的容器覆蓋

[英]AWS Step Function - passing Input to container override for AWS batch job

我正在從步驟 Function 提交 AWS Batch 作業。批處理作業采用命令行參數。我可以像這樣在步驟 function 中運行它：但是，我想將此步驟的輸入用作命令行參數。所以我嘗試在命令中使用 $.parameter 符號。我的輸入是我的步驟 function 是但是，這會導致 ...

Multiprocessing.Pool：由於 PicklingError，無法在 AWS Batch 中迭代 IMapIterator object

[英]Multiprocessing.Pool: can not iterate over IMapIterator object in AWS Batch because of PicklingError

我需要從 API 端點請求大量數據，並且我想使用多處理（與多線程相比，公司框架限制）我在名為Batcher的 class 中有一個帶有預定義並發CONCURRENCY的multiprocessing.Pool 。 class 看起來像這樣：這個 class 在這樣的文件中被調用此腳本是通過 ...

如何將 s3 和 DynamoDB 的訪問權限授予 Fargate JobDefinition？

[英]How to grant access on s3 and DynamoDB to Fargate JobDefinition?

我正在開發一個 CDK 堆棧，用於配置需要訪問 S3 和 DynamoDB 的 AWS Batch Fargate 作業。我授予對executionRole的訪問權限。但是當我運行 Job 時，它無法訪問 s3 並顯示以下錯誤消息：無法從 EC2 實例元數據服務獲取 IAM 安全憑證這是代碼 ...

Nextflow：出現memory錯誤如何處理？

[英]Nextflow: How to deal with out of memory error?

我想用 aws 批處理執行器測試 Nextflow 錯誤處理。我使用stress來填充 20GB 的 memory，而最初只分配 12GB 並應用標准錯誤策略（如手冊中所述）。雖然錯誤信息是： ..退出狀態為8 （而不是137..140，所以不調整資源）：這里可能有什么問題？謝謝 ...

AWS 批處理作業作為 EventBridge：動態名稱

[英]AWS Batch Jobs as EventBridge: Dynamic Name

有沒有辦法在 EventBridge 上創建event pattern規則以提交具有特定名稱模式的批處理作業？名稱應該取決於一些 s3 文件名。例如： if fileName == "some pattern" then -> parse file name and get prefix, ...

AWS Athena 聯合查詢在 AWS Batch 中運行時出現權限錯誤

[英]AWS Athena Federated query gives permission error while running in AWS Batch

我已經在 Athena 中設置了 MySQL 數據源（它需要為 RDB 訪問創建 Lambda）並且可以在 Athena 控制台中成功運行聯合查詢 - 我可以在 RDB 表和 Athena/Glue 表之間進行連接（當引用 RDB 表時，它應該指定為<datasource_name>.& ...

Aws 批處理作業按順序安排。如果任何作業失敗，則從失敗的作業中調用作業和序列

[英]Aws batch jobs scheduled in a sequence . If any job is failed, invoke the job and sequence from failed job

我有一個 lambda 可以按順序調用 AWS 批處理作業（依賴作業）。如果序列中的一個批處理作業失敗，則之后的所有作業都會失敗。是否可以從上次失敗的批處理作業中調用該批處理作業，然后直接從該批處理作業重新啟動該序列？ ...

如何使用 AWS Batch 運行“docker run hello-world”

[英]How to run "docker run hello-world" using AWS Batch

我已經使用 boto3 構建了一個創建計算環境、創建作業隊列、注冊作業定義並最終提交作業的工作流。嘗試 'ls' 命令可以正常工作，但是，嘗試命令 'docker run hello-world' 時不起作用。創建comp env的代碼：作業隊列定義為：我的目標是運行“docker ...