如何創建 airflow DAG 以將文件從一個 S3 復制到另一個 S3 存儲桶

Question

我正在嘗試使用 python 創建 airflow dag 將文件從一個 S3 存儲桶復制到另一個 S3 存儲桶。

我的代碼

from airflow import DAG
from datetime import datetime, timedelta
from utils import FAILURE_EMAILS

from airflow.providers.amazon.aws.operators.s3_copy_object import S3CopyObjectOperator
default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2020, 1, 1),
    'email': FAILURE_EMAILS,
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 0,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG(
    'S3_COPY_S3',
    default_args=default_args,
    catchup=False,
    schedule_interval=None,
    max_active_runs=1
)

copy_step = S3CopyObjectOperator(
   source_bucket_key='source_file',
   dest_bucket_key='dest_file',
   aws_conn_id='aws_connection_id',
   source_bucket_name='source-bucket',
   dest_bucket_name='dest-bucket',
   dag=dag
)

這個對嗎？ 你可以請人驗證

Answer 1

假設您提供的值已替換為正確的存儲桶名稱和 s3 鍵，那么您唯一缺少的就是 S3CopyObjectOperator 的 task_id。

實例化操作符時，需要在關聯的 DAG 上下文中提供唯一的 task_id。