如何通过 docker-compose 将变量从 Makefile 传递到 Python 脚本

Question

我有一个 Makefile，它运行一个 docker-compose，它有一个执行 python 脚本的容器。 我希望能够将命令行中的变量传递给 Makefile 并在 python 脚本（ testing.py ）中打印它。

我的目录如下所示：

main_folder:
  -docker-compose.yaml
  -Makefile
  -testing.py

我尝试过以下配置。 Makefile 是：

.PHONY: run run-prod stop stop-prod rm

run:
    WORKING_DAG=$(working_dag) docker-compose -f docker-compose.yml up -d --remove-orphans --build --force-recreate

docker-compose 是：

version: "3.7"
services:
  prepare_files:
    image: apache/airflow:1.10.14
    environment:
      WORKING_DAG: ${working_dag}
      PYTHONUNBUFFERED: 1
    entrypoint: /bin/bash
    command: -c "python3 testing.py $$WORKING_DAG"

文件 testing.py 是：

import sys

print(sys.argv[0], flush=True)

当我在命令行中运行时：

 make working_dag=testing run

它不会失败，但它也不会打印任何东西。 我怎么能做到？ 谢谢

Answer 1

您需要将testing.py安装到容器中（使用volumes ）。 在下文中，将使用您当前的工作目录（ ${PWD} ）并将testing.py挂载在容器的根目录中：

version: "3.7"
services:
  prepare_files:
    image: apache/airflow:1.10.14
    volumes:
      - ${PWD}/testing.py:/testing.py
    environment:
      PYTHONUNBUFFERED: 1
    entrypoint: /bin/bash
    command: -c "python3 /testing.py ${WORKING_DAG}"

注意不需要在服务定义中包含WORKING_DAG ，因为它已被 Makefile 暴露在 Docker Compose 环境中。 像您一样设置它，用"" （空字符串）覆盖它，因为${working_dag}是您的原始环境变量，但您在 Makefile run步骤中将其重新映射到WORKING_DAG 。

和

import sys

print(sys.argv[0:], flush=True)

然后：

make --always-make working_dag=Freddie run
WORKING_DAG=Freddie docker-compose --file=./docker-compose.yaml up
Recreating 66014039_prepare_files_1 ... done
Attaching to 66014039_prepare_files_1
prepare_files_1  | ['/testing.py', 'Freddie']
66014039_prepare_files_1 exited with code 0

Answer 2

我相信变量WORKING_DAG已通过命令行正确分配，并且Makefile将其正确传递给docker-compose 。 我通过运行容器来验证它不会被破坏，然后在登录到容器后，我检查了WORKING_DAG的值：

为了在 docker 执行完成后不破坏容器，我修改了docker-compose.yml ，如下：

version: "3.7"
services:
  prepare_files:
    image: apache/airflow:1.10.14
    environment:
      WORKING_DAG: ${working_dag}
      PYTHONUNBUFFERED: 1
    entrypoint: /bin/bash
    command: -c "python3 testing.py $$WORKING_DAG"
    command: -c "tail -f /dev/null"

---

airflow@d8dcb07c926a:/opt/airflow$ echo $WORKING_DAG
testing

docker 与docker一起部署时不显示 Python 的std.out的问题已经在docker-compose中进行了注释，在这里，它仍然没有解决。 在使用docker-compose时使其工作，只有当我们将文件传输/挂载到容器中，或者我们使用Dockerfile代替时才有可能。

使用Dockerfile时，只需运行相应的脚本，如下所示，

CMD ["python", "-u", "testing.py", "$WORKING_DAG"]

要将脚本挂载到容器中，请在此处查看@DazWilkin的答案。