在 MWAA 上放置 kube_config.yaml 文件的合理位置在哪里？

Question

MWAA 文檔中用於將 MWAA 連接到 EKS 的示例代碼如下：

#use a kube_config stored in s3 dags folder for now
kube_config_path = '/usr/local/airflow/dags/kube_config.yaml'

這並沒有讓我認為將kube_config.yaml文件放在 dags dags/目錄中是一個明智的長期解決方案。

但是我在文檔中找不到任何關於存儲此文件的合理位置的提及。

任何人都可以將我鏈接到可靠的來源嗎？ 或者提出一個明智的建議？

Answer 1

來自Kube.netesPodOperator Airflow 文檔：

用戶可以使用 config_file 參數指定一個 kubeconfig 文件，否則操作員將默認為 ~/.kube/config。

在本地環境中， kube_config.yaml文件可以存儲在為 Kube.netes 保留的特定目錄中（例如.kube 、 kubeconfig ）。 參考資料： Kube.netesPodOperator（氣流） 。

在 MWAA 環境中，DAG 文件存儲在 S3 中， kube_config.yaml文件可以存儲在根 DAG 文件夾中的任何位置（包括根 DAG 文件夾中的任何子目錄，例如/dags/kube ）。 文件的位置不如通過.airflowignore文件明確將其從 DAG 解析中排除重要。 參考： .airflowignore（氣流） 。

S3 目錄布局示例：

s3://<bucket>/dags/dag_1.py
s3://<bucket>/dags/dag_2.py
s3://<bucket>/dags/kube/kube_config.yaml
s3://<bucket>/dags/operators/operator_1.py
s3://<bucket>/dags/operators/operator_2.py
s3://<bucket>/dags/.airflowignore

示例.airflowignore文件：

kube/
operators/