配置 MWAA 以在 Aurora DB 中運行查詢

Question

我正在運行一個無服務器 v2 Aurora 實例。 我有一個 MWAA 實例設置和一個 dag 設置來運行幾個 sql 腳本。 sql 腳本創建表。 在 MWAA 中，我已經配置了數據庫連接。 任務失敗時出現的錯誤： Connection timed out Is the server running on that host and accepting TCP/IP connections?

如何讓 MWAA 直接與 Aurora DB 通信？

我的 DAG 代碼：

from airflow import DAG
from airflow.providers.postgres.operators.postgres import PostgresOperator
from datetime import datetime

dag = DAG(
    'test_etl',
    description='Run test ETLs',
    schedule_interval='0 4 * * * ',
    start_date=datetime(2022, 1, 1),
    catchup=False
)

t_create_query = PostgresOperator(
    dag=dag,
    task_id="create_query",
    postgres_conn_id="postgres_default",
    sql="sql/create_query.sql ",
)

Answer 1

默認情況下，airflow 服務器無法訪問其他 AWS 服務，要將其連接到您的 Aurora DB，您需要：

• 在同一個 VPC 中運行 MWAA 和 Aurora DB
• 在 Amazon MWAA 的安全組中為 Amazon RDS 打開的端口 5432（postgres 端口）添加入站規則
• 在您的 airflow 服務器中創建一個新連接：
  • 連接 ID：postgres_default
  • 連接類型：Amazon Web 服務
  • 主持人：
  • 登錄名：admin（可以新建用戶）
  • 密碼：
  • 端口：5432