Apache Airflow Docker：如何安裝外部 airflow 提供程序包

Question

我在 docker 上運行 Apache Airflow。我想為 spark 安裝一個 airflow 提供程序 package。 我的 docker 撰寫 yml 文件如下所示。 當我嘗試在 airflow 中創建新連接時，我想將 Spark 添加為我的連接類型。我該怎么做？

Answer 1

您應該創建新的自定義圖像並使用它來代替基礎圖像。 請參閱： https://airflow.apache.org/docs/docker-stack/build.html

Answer 2

您現在可以使用默認組合指定提供程序在啟動時安裝（無需構建自定義圖像）。 您可以通過將提供者的 pip package 名稱附加到 docker-compose 文件中的環境變量_PIP_ADDITIONAL_REQUIREMENTS來執行此操作。

...
x-airflow-common:
  ...
  environment:
    &airflow-common-env
    AIRFLOW__CORE__EXECUTOR: CeleryExecutor
    AIRFLOW__DATABASE__SQL_ALCHEMY_CONN: ...
    ...
    _PIP_ADDITIONAL_REQUIREMENTS: ${_PIP_ADDITIONAL_REQUIREMENTS:- apache-airflow-providers-docker apache-airflow-providers-microsoft-mssql}
volumes:
    ...

https://stackoverflow.com/a/68607370