如何在运行时更改 AWS Batch 的根卷大小

Question

我有一个向 AWS 发出请求以启动批处理作业的应用程序。 工作各不相同，因此每个工作的资源需求都会发生变化。

很清楚如何更改 CPU 和 memory，但是我无法弄清楚如何指定根卷大小，或者甚至可能

这是我正在运行的代码示例：

import boto3

client = boto3.client('batch')

JOB_QUEUE = "job-queue"
JOB_DEFINITION="job-definition"



container_overrides = {
    'vcpus': 1,
    'memory': 1024,
    'command': ['echo', 'Hello World'],
    # 'volume_size': 50 # this is not valid
    'environment': [ # this just creates env variables
        {
            'name': 'volume_size',
            'value': '50'
        }
    ]
}


response = client.submit_job(
    jobName="volume-size-test",
    jobQueue=JOB_QUEUE,
    jobDefinition=JOB_DEFINITION,
    containerOverrides=container_overrides)

我的问题与此类似但是我特别询问这在运行时是否可行。 我可以更改启动模板，但这并不能解决发出请求时能够指定所需资源的问题。 除非解决方案是创建多个启动模板，然后在运行时创建 select，尽管这看起来不必要地复杂

Answer 1

为此，您可以使用AWS Elastic File System 。 EFS 卷可以安装到为您的作业定义创建的容器中。 EFS 不需要您提供特定的卷大小，因为它会根据使用情况自动增长和收缩。

您需要通过efsVolumeConfiguration 属性在作业定义中指定 Amazon EFS 文件系统

{
  "containerProperties": [
    {
      "image": "amazonlinux:2",
      "command": [
        "ls",
        "-la",
        "/mount/efs"
      ],
      "mountPoints": [
        {
          "sourceVolume": "myEfsVolume",
          "containerPath": "/mount/efs",
          "readOnly": true
        }
      ],
      "volumes": [
        {
          "name": "myEfsVolume",
          "efsVolumeConfiguration": {
            "fileSystemId": "fs-12345678",
            "rootDirectory": "/path/to/my/data",
            "transitEncryption": "ENABLED",
            "transitEncryptionPort": integer,
            "authorizationConfig": {
              "accessPointId": "fsap-1234567890abcdef1",
              "iam": "ENABLED"
            }
          }
        }
      ]
    }
  ]
}

参考： https://docs.aws.amazon.com/batch/latest/userguide/efs-volumes.html