損壞的 DAG：使用 AWS Airflow 托管服務時沒有名為“psycopg2”的模塊

Question

我正在嘗試按以下方式在 AWS Airflow 托管服務的 DAG 中使用 PostgresHook：

from airflow.hooks.postgres_hook import PostgresHook

使用此服務的 Airflow 版本是 1.10.12，但是當我上傳此 DAG 時，Airflow UI 向我顯示“Broken DAG: No module named 'psycopg2'”錯誤。

我有使用這些模塊定義的 requirements.txt 文件，但似乎沒有一個工作：

psycopg2-binary
psycopg2
tableauserverclient
google-auth
botocore
apache-airflow[postgres]

有誰知道是否有解決此問題的方法？ AWS 論壇頁面中沒有太多關於此的信息。

Answer 1

我在 MWAA 中使用 psycopg2 沒有問題。

在我的要求中，我只有 psycopg2-binary 而不是 psycopg2。

這是我喜歡用來列出安裝在我的 MWAA airflow 環境中的所有 pip 軟件包的 dag：

import os
from datetime import timedelta

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago

DAG_ID = os.path.basename(__file__).replace('.py', '')

DEFAULT_ARGS = {
    'owner': 'Louis',
    'depends_on_past': False,
    'email_on_failure': False,
    'email_on_retry': False
}

with DAG(
        dag_id=DAG_ID,
        default_args=DEFAULT_ARGS,
        description='Print all installed Python packages',
        dagrun_timeout=timedelta(hours=2),
        start_date=days_ago(1),
        schedule_interval=None,
        tags=['bash']
) as dag:
    list_python_packages_operator = BashOperator(
        task_id='list_python_packages',
        bash_command='python3 -m pip list'
    )

list_python_packages_operator

希望它有助於調試您的問題。