你为什么要分开一个 celery 工人和 django 容器？

Question

我正在用 celery 构建一个 django 应用程序。我尝试编写一个 docker-compose，但没有工人的容器。 在我的 Dockerfile for django 中，运行 celery worker 和 django 应用程序的入口点：

...
python manage.py migrate
celery -A api worker -l INFO --detach
python manage.py runserver 0.0.0.0:8000

celery 将使用此命令运行，但不会使用 django 运行服务器。 我在教程中看到他们将 django 容器与 woker 容器分开，反之亦然。 我看不出对这种分离的解释。 我还观察到两个 python 容器（django，worker）具有相同的体积。 celery和django环境不一样怎么添加任务？ 在我看来，两个容器将有两个 django 应用程序（相同的卷），其中一个运行 runserver，另一个运行 celery worker。 我不明白分离。

Answer 1

正如 Celery 文档所述：

Celery 通过消息进行通信，通常使用代理在客户和工作人员之间进行调解。 为了启动任务，客户端将消息添加到队列中，然后代理将该消息传递给工作人员。

这意味着客户端 (Django) 和工人 (Celery) 之间的通信是通过消息队列完成的。 因此，工人和客户是否在不同的容器甚至不同的机器中都没有关系。 如果 Client 可以访问消息队列（例如使用 Redis 或 RabbitMQ）并且 worker 可以从该队列中弹出任务，它将始终有效。

关于docker-compose部分，Celery和Django是保留还是分离，没有一个理想的标准。你可以把它们放在同一个容器里，也可以不放在同一个容器里，看你自己和项目的要求。 如果您使用两个容器，那么它们需要共享卷，因为源代码和执行任务所需的任何其他数据。

Answer 2

您应该将容器设置为在每个容器中仅运行一个前台进程，而不运行后台进程。 即使在这个简单的例子中，也有两个明显的优势：如果 Celery worker 挂掉了，你可以重启一个独立的容器，但它作为后台进程对 Docker 是不可见的； 并且可以分别读取Web服务端和后台worker的docker logs ，不会相互纠缠。 在更大的规模下，您可以想象想要根据您的负载运行不同数量的 Django 和 Celery 容器。

为了使这项工作正常进行，入口点脚本不直接运行程序很重要。 它作为 arguments 传递给（可能被覆盖的）容器命令，您可以使用特殊的 shell 构造来运行它

#!/bin/sh
./manage.py migrate
exec "$@"

在 Dockerfile 中，声明ENTRYPOINT和默认的CMD以运行 Web 服务器

ENTRYPOINT ["./entrypoint.sh"]  # probably unchanged, must be JSON array syntax
CMD ["./manage.py", "runserver", "0.0.0.0:8000"]

在 Compose 设置中，您可以从同一个图像运行多个容器，但要覆盖command:对于 Celery worker。

version: '3.8'
services:
  web:
    build: .
    ports: ['8000:8000']
    environment:
      REDIS_HOST: redis
  worker:
    build: .
    command: celery -A api worker -l INFO
    environment:
      REDIS_HOST: redis
  redis:
    image: redis

主应用程序通过 Redis（或其他商店）中的队列与工作人员通信，因此它们无需位于同一容器中。