使用 AWS Glue 将数据从 S3 加载到 Aurora Serverless

Question

根据使用 AWS Glue 从 S3 移动数据 -> RDS

我发现需要一个实例来添加到数据目标的连接。 但是，我的 RDS 是无服务器的，所以没有可用的实例。 Glue 是否支持这种情况？

Answer 1

我最近尝试使用 AWS 胶连接 Aurora MySql Serverless，但失败了。 我收到超时错误。

Check that your connection definition references your JDBC database with 
correct URL syntax, username, and password. Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. 
The driver has not received any packets from the server.

我认为原因是 Aurora Serverless 没有任何持续运行的实例，因此在连接 URL 中您不能提供任何实例，这就是 Glue 无法连接的原因。 所以我改变了我的设计并停止使用胶水:)

Answer 2

AWS Glue 支持该场景，即它可以很好地使用 AWS Glue 作业将数据从 S3 加载到 Aurora Serverless。 我目前使用的引擎版本是8.0.mysql_aurora.3.02.0

注意：如果你得到一个错误说Data source rejected establishment of connection, message from server: "Too many connections" ，你可以增加ACUs（目前我的设置为min 4 - max 8 ACUs供您参考），作为最大数量连接数取决于 ACU 的容量。

Answer 3

我可以使用 JDBC 建立连接，有一件事很重要，你应该至少有一个子网打开所有 TCP 端口，但你可以将端口指向子网。 设置好后，连接测试通过，爬虫也可以建表了。