aws 胶水，如何连接到不在 aws 云中的外部数据库服务器？

Question

我需要从位于我们自己网络中的现有数据库中提取数据以使用 aws 胶水进行红移，我可以从 EC2 实例连接它，但不知道如何从 aws 胶水连接它。有人能给我建议吗？ 我认为这在 VPC 设置中会很神奇，但在搜索谷歌后没有任何提示。

Answer 1

有人会给我任何建议吗？

AWS 写了关于这个主题的专门文章：

• 如何使用 AWS Glue 访问和分析本地数据存储

• 使用 AWS Glue 针对非本地 JDBC 数据源运行 ETL 作业

这些将是一个好的开始。

Answer 2

#将 jdbc 驱动程序上传到 s3 位置，在我的情况下为“s3://manikantabucket/com.mysql.jdbc_5.1.5.jar”在胶水属性 bar 文件中添加驱动程序 Z68995FCBF432492D15484DAC04A9

##########代码导入系统

从 pyspark.context 导入 SparkContext

从 awsglue.context 导入 GlueContext

从 awsglue.transforms 导入 *

胶水上下文 = 胶水上下文（SparkContext.getOrCreate（））

connection_mysql8_options_source_emp = {“url”：“jdbc:mysql://ec2-2-138-264-235.ap-east-1.compute.amazonaws.com:3306/mysql”,“dbtable” user": "root", "password": "root", "customJdbcDriverS3Path": "s3://manikantabucket/com.mysql.jdbc_5.1.5.jar", "customJdbcDriverClassName": "com.mysql.jdbc.Driver" }

df_emp=df_emp.coalesce(1)

df_emp =glueContext.create_dynamic_frame.from_options(connection_type="mysql", connection_options=connection_mysql8_options_source_emp) S3bucket_node3 =glueContext.write_dynamic_frame.from_options(frame=df_emp, connection_type="s3", format="csv", connection_options={"path": " s3://manikantabucketo/test/", "partitionKeys": []}, transformation_ctx="S3bucket_node3", )