如何在此 Airflow docker 容器中运行 docker 命令？

Question

我已经按照此处所述设置了 Airflow 和 docker-compose。 https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html

还有一个 airflow 任务必须执行 docker 命令，例如

BashOperator(
    task_id='my',
    bash_command="""
        docker run ..............
    """,
    dag=dag,
)

这意味着 airflow Z05B6053C41A2146AFD6FC3B15中需要 Docker package，但不是 BDA 图像。

因此，我尝试构建自己的airflow image based docker installed image 。 喜欢，

FROM apache/airflow:2.0.1 as airflow-image
SHELL ["/bin/bash", "-o", "pipefail", "-e", "-u", "-x", "-c"]

USER root
RUN apt-get update && apt-get --assume-yes install \
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg \
    lsb-release
RUN curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
RUN echo $(lsb_release -cs)
RUN echo \
  "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
RUN apt-get update
RUN apt-get --assume-yes install docker-ce docker-ce-cli containerd.io

如上图 Dockerfile、docker 安装，

$ whereis docker
docker: /usr/bin/docker /usr/libexec/docker
$ whereis dockerd
dockerd: /usr/bin/dockerd

但我不能让 docker 守护进程启动，以便 airflow 的任务可以执行docker run命令。

在我看到这个 ENTRYPOINT 并测试了几件事之后， https://github.com/apache/airflow/blob/master/Dockerfile#L535

ENTRYPOINT ["/usr/bin/dumb-init", "--", "/entrypoint"]

我想知道我是否可以启动 docker 守护进程。

有什么建议吗？ 我可以制作基于 airflow:2.0.1 并支持 docker commans 的 docker 图像吗？

Answer 1

如果我理解正确，您正在尝试运行自定义 Docker 图像作为 Airflow 中的任务。 有一个DockerOperator可用，请参见此处的示例。 我认为您尝试做的是将 Docker 托管在 Docker 容器内。 这不是必需的，因为 Airflow Docker 容器应该可以访问在您的机器上运行的 Docker。

So if you run Airflow 2.0 make sure to install this Python package apache-airflow-backport-providers-docker docker in your Airflow Docker container. And include this in your Python DAG file: from airflow.providers.docker.operators.docker import DockerOperator . 然后使用运算符，如下所示：

dockertask = DockerOperator(
                task_id='docker_command',
                image='centos:latest',
                api_version='auto',
                auto_remove=True,
                command="/bin/sleep 30",
                docker_url="unix://var/run/docker.sock",
                network_mode="bridge"
        )