递归地将 s3 对象从一个 s3 前缀复制到 airflow 中的另一个

Question

我正在尝试使用以下格式将每小时收到的文件复制到传入的存储桶中

s3://input-bucket/source_system1/prod/2022-09-27-00/input_folder/filename1.csv
s3://input-bucket/source_system1/prod/2022-09-27-00/input_folder/filename2.csv
s3://input-bucket/source_system1/prod/2022-09-27-01/input_folder/filename3.csv
s3://input-bucket/source_system1/prod/2022-09-27-11/input_folder/filename3.csv

我想通过针对特定源系统的单个 airflow 任务将对象复制到目标文件夹中。 我试过了 -

   s3_copy = S3CopyObjectOperator(
                task_id=f"copy_s3_objects_{TC_ENV.lower()}",
                source_bucket_key="s3://input-bucket/source_system1/prod/2022-09-27-*",
                dest_bucket_name="destination-bucket",
                dest_bucket_key=f"producers/prod/event_type=source_system/execution_date={EXECUTION_DATE}",
                aws_conn_id=None
                )

上面的问题是，我无法对输入 source_bucket 使用wildcards 。 它需要是 s3 object 的特定完整前缀。 我还尝试使用S3ListOperator和S3FileTransformOperator的组合。 但是他们都为每个 object 创建了一个任务。 但是我需要 1 个源系统的 airflow 任务，因此能够使用此通配符模式复制所有数据-

s3://input-bucket/source_system1/prod/2022-09-27-*

我怎样才能做到这一点？