如何訪問 Cloud Composer 系統文件

Question

我正在處理從內部部署系統到雲 Composer 的遷移任務，問題是 Cloud composer 是一個完全托管的氣流版本，它限制了對后面文件系統的訪問，實際上在我的內部部署系統上我有很多我們將某些路徑的環境變量保存為/opt/application/folder_1/subfolder_2/... 。

在查看 Cloud composer 文檔時，他們說您可以訪問數據並將數據保存在由/home/airflow/gcs/data/映射的數據文件夾中，這意味着如果我繼續該映射，我會認為將我的 env 變量值更改為類似： /home/airflow/gcs/data/application/folder_1/folder_2可能有點痛苦的事情，因為我知道我正在運行許多依賴於這些值的 bash 腳本。

有沒有辦法解決這樣的問題？

Answer 1

您可以在 Composer 創建/更新過程中指定您的 env 變量 [1]。 然后，這些變量存儲在 YAML 文件中，這些文件創建了托管 Composer 的 GKE 集群。 如果您通過 SSH 連接到運行 Composer GKE 集群的 VM，然后進入其中一個工作容器並運行env ，您可以看到您指定的 env 變量。

[1] https://cloud.google.com/composer/docs/how-to/managing/environment-variables