为子进程提供 CPU 时间和内存

Question

我一直在研究如何为 Python subprocess提供它自己的time和memory 。

import resource
import subprocess


def set_memory_time(seconds):
    limit_virtual_memory(seconds)
    usage_start = resource.getrusage(resource.RUSAGE_CHILDREN)
    print("usage_start ", usage_start)
    try:
        p = subprocess.check_output(
            ['docker exec -it cpp_compiler sh -c "g++ -o Test1 prog1.cpp && ./Test1 < input.txt"'],
            shell=True)
    except Exception as e:
        print(e)
    usage_end = resource.getrusage(resource.RUSAGE_CHILDREN)
    print("usage_end ", usage_end)
    cpu_time = usage_end.ru_utime - usage_start.ru_utime
    print("cpu_time ", cpu_time)


def limit_virtual_memory(seconds):
    max_virtual_memory = 10 * 1024 * 1024  # 10 MB
    usage_start = resource.getrusage(resource.RUSAGE_CHILDREN)
    resource.setrlimit(resource.RLIMIT_AS, (max_virtual_memory, resource.RLIM_INFINITY))
    resource.setrlimit(resource.RLIMIT_CPU, (seconds, usage_start.ru_utime + seconds))

问题是resource.setrlimit为主进程和子进程设置限制使用该限制。 当限制超过时，它实际上也会杀死进程。

1. 我在这里尝试实现的总体目标是subprocess.check_output(['docker exec -it cpp_compiler sh -c "g++ -o Test1 prog1.cpp && ./Test1 < input.txt"']这一行不应超过分配。
   有没有办法在 python 中实现这一点？

2. 我在这里尝试解决的问题是尝试为用户提交的CPP代码分配CPU time和memory限制。 CPP代码最终将在 docker 容器上运行以进行沙盒处理，但希望对其使用的资源进行限制。

如果有人可以在上面的代码中提供有关问题和潜在解决方案或更正的输入，那将非常有帮助。

谢谢

Answer 1

您无法限制任意docker exec进程的资源利用率。

Docker 使用客户端/服务器模型，因此当您运行docker exec它只是向 Docker 守护程序发出请求。 当你尝试setrlimit来限制子进程的内存时，它只限制了docker exec进程本身； 但这会向 Docker 守护进程发出请求，后者又会在容器命名空间中启动一个新进程。 这些进程都不是彼此的子进程，并且除了原始docker exec之外，它们都不会继承这些资源限制。

如果您改为启动一个新容器，则可以在新容器上使用Docker 的资源限制。 这些不会限制 CPU 时间的绝对量，但您可能希望在任何情况下都限制已启动进程的运行时间。

您通常应该避免使用subprocess模块来调用docker命令。 构建 shell 命令并使用它们的输出可能会很棘手，如果你的代码不完美，很容易使用 shell 注入攻击来使用docker命令来 root 主机。 改用Docker SDK for Python 之类的东西。

所以，如果你想启动一个具有固定内存限制的新容器，并限制它的执行时间，你可以这样做：

import docker
import requests
client = docker.from_env()

container = client.containers.run(
  image='some/image:tag',
  command=['the', 'command', 'to', 'run'],
  detach=True,
  mem_limit=10485760 # 10 MiB
)
try:
  container.wait(timeout=30) # seconds
except requests.exceptions.ReadTimeout:
  # container ran over its time allocation
  container.kill()
  container.wait()
print(container.logs())
container.remove()