当我旋转气流泊坞窗然后旋转它时连接消失

Question

我是气流和 docker 的新手，但是，我已经能够让我的第一个 DAG 工作，使用我使用气流 Web 服务器 UI 创建的连接。 连接只是使用基本身份验证的用户名和密码，以便能够使用 requests.get 调用 API 端点。

然后我像这样设置变量。

USERNAME = BaseHook.get_connection('my_conn_id').login
PASSWORD = BaseHook.get_connection('my_conn_id').密码

当我向下/向上旋转气流/泊坞窗时，我创建的连接消失了，我的 DAG 中断了。

同样，我对这一切都很陌生，阅读了大量文档，但似乎无法弄清楚如何克服这一点。

我的最终目标是永久存储这些新连接，这样我就不需要每次都重新创建它们。

我感谢任何帮助！

Answer 1

问题是您 - 可能 - 没有映射 postgres 卷。 这意味着，您需要将数据保存在主机上，为此您将主机的文件夹映射到 docker 容器。

正如我看到您正在使用 docker compose 一样，您可以从以下内容中获取灵感：

https://github.com/puckle/docker-airflow/blob/master/docker-compose-CeleryExecutor.yml

您需要按照指定取消注释某些行（环境变量设置和卷映射）：

    # Uncomment these lines to persist data on the local filesystem.
    #     - PGDATA=/var/lib/postgresql/data/pgdata
    # volumes:
    #     - ./pgdata:/var/lib/postgresql/data/pgdata

希望这有帮助