無法使用 docker 中的 airflow 2.0 和 json 密鑰文件連接到谷歌雲

Question

I am trying to setup a GCP connection with apache airflow 2.0 in docker from MAC OS using JSON key file, I got this error when I trigger the DAG:

錯誤 - [Errno 2] 沒有這樣的文件或目錄：'/Users/my_user/PycharmProjects/airflow_docker/plugins/key.json'

我需要在 docker 中設置一些配置嗎？

Answer 1

檢查文件key.json是否真的位於那個地方，因為它似乎不是。 您可以通過“調試”您的 docker 圖像來做到這一點，如下所示：

• docker run -it --rm --entrypoint sh <name-of-image>這個命令可以讓你通過 shell 訪問鏡像。 這樣您就可以查看文件是否真的位於該路徑中。 在該路徑和其他路徑中執行一些ls操作以找到 key.json 文件的真正位置

Answer 2

最可能的問題是它缺少 docker-compose.yaml 中的卷映射

  volumes:
    ...
    - /Users/my_user/PycharmProjects/airflow_docker/plugins/:/opt/airflow/plugins