S3 文件通过 Airflow 到 Mysql AWS

Question

在过去的几个月里，我一直在学习如何使用 Apache-Airflow，并想看看是否有人有将 CSV 文件从 S3 传输到 AWS(RDS) 中的 Mysql 数据库的经验。 或者从我的本地驱动器到 MySQL。

我设法使用 airflow.hooks.S3_hook 将所有内容发送到 S3 存储桶以将它们存储在云中，并且效果很好。 我用 boto3 来做到这一点。 现在我想将此文件推送到我在 RDS 中创建的 MySQL 数据库，但我不知道该怎么做。 我是否需要使用 MySQL 挂钩并在那里添加我的凭据，然后编写 python function？

此外，它不必是 S3 到 Mysql，如果更容易的话，我也可以尝试从我的本地驱动器到 Mysql。

任何帮助都会很棒！

Answer 1

Airflow 有S3ToMySqlOperator可以通过以下方式导入：

from airflow.providers.mysql.transfers.s3_to_mysql import S3ToMySqlOperator

请注意，您需要安装 MySQL 提供程序。

对于Airflow 1.10 系列（后端版本）：

pip install apache-airflow-backport-providers-mysql

对于Airflow >=2.0 （普通版目前处于测试阶段）：

pip install apache-airflow-providers-mysql

示例用法：

S3ToMySqlOperator(
    s3_source_key='myfile.csv',
    mysql_table='myfile_table',
    mysql_duplicate_key_handling='IGNORE',
    mysql_extra_options="""
            FIELDS TERMINATED BY ','
            IGNORE 1 LINES
            """,
    task_id= 'transfer_task',
    aws_conn_id='aws_conn',
    mysql_conn_id='mysql_conn',
    dag=dag
)

Answer 2

您是否能够解决“MySQLdb._exceptions.OperationalError: (2068, 'LOAD DATA LOCAL INFILE file request 由于访问限制而被拒绝”问题