Apache Airflow Docker：如何安装外部 airflow 提供程序包

Question

我在 docker 上运行 Apache Airflow。我想为 spark 安装一个 airflow 提供程序 package。 我的 docker 撰写 yml 文件如下所示。 当我尝试在 airflow 中创建新连接时，我想将 Spark 添加为我的连接类型。我该怎么做？

Answer 1

您应该创建新的自定义图像并使用它来代替基础图像。 请参阅： https://airflow.apache.org/docs/docker-stack/build.html

Answer 2

您现在可以使用默认组合指定提供程序在启动时安装（无需构建自定义图像）。 您可以通过将提供者的 pip package 名称附加到 docker-compose 文件中的环境变量_PIP_ADDITIONAL_REQUIREMENTS来执行此操作。

...
x-airflow-common:
  ...
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: ...
    ...
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- apache-airflow-providers-docker apache-airflow-providers-microsoft-mssql}
volumes:
    ...

https://stackoverflow.com/a/68607370