运行 Airflow Docker 映像时的 minio ModuleNotFoundError

Question

我已经为 Airflow 下载了最新的 Docker 映像，并且能够成功启动实例。 在我的本地系统上，我在 Mac 上使用自制软件安装了 minio 服务器。

我创建了一个 DAG 文件来将数据上传到我的 Minio 存储桶。 我已经使用 python 完成了一个示例上传，它按预期工作（使用 minio python 库）。 在 Airflow 服务器上，我看到以下错误 -

ModuleNotFoundError：没有名为“minio”的模块

有人可以帮助我如何将 pip3 minio 库安装到 docker 容器中，以便解决此错误？ 我是容器新手，非常感谢一个简单的指南或链接，我可以参考它来帮助我解决这个错误。

我尝试过的一件事是摆弄属性 - _PIP_ADDITIONAL_REQUIREMENTS 出现在此链接之后的 AIRFLOW DOCKER 图像中，但无济于事。

我将这些值添加为 - minio 但没有用。

Answer 1

您可以创建一个 Dockerfile 来扩展基本气流并安装您的软件包。

1. 创建 Dockerfile

 FROM apache/airflow:2.3.0 USER root RUN apt-get update USER airflow RUN pip install -U pip RUN pip install --no-cache-dir minio # or you can copy requirments.txt and install from it

2. 构建你的码头工人

码头工人构建 -t my_docker 。

3. 运行新的 docker 映像（如果您使用的是 docker-compose，则将气流映像更改为您的映像）