如何访问 Cloud Composer 系统文件

Question

我正在处理从内部部署系统到云 Composer 的迁移任务，问题是 Cloud composer 是一个完全托管的气流版本，它限制了对后面文件系统的访问，实际上在我的内部部署系统上我有很多我们将某些路径的环境变量保存为/opt/application/folder_1/subfolder_2/... 。

在查看 Cloud composer 文档时，他们说您可以访问数据并将数据保存在由/home/airflow/gcs/data/映射的数据文件夹中，这意味着如果我继续该映射，我会认为将我的 env 变量值更改为类似： /home/airflow/gcs/data/application/folder_1/folder_2可能有点痛苦的事情，因为我知道我正在运行许多依赖于这些值的 bash 脚本。

有没有办法解决这样的问题？

Answer 1

您可以在 Composer 创建/更新过程中指定您的 env 变量 [1]。 然后，这些变量存储在 YAML 文件中，这些文件创建了托管 Composer 的 GKE 集群。 如果您通过 SSH 连接到运行 Composer GKE 集群的 VM，然后进入其中一个工作容器并运行env ，您可以看到您指定的 env 变量。

[1] https://cloud.google.com/composer/docs/how-to/managing/environment-variables