将数据从S3加载到PostgreSQL RDS
[英]Loading data from S3 to PostgreSQL RDS
问题描述
我们计划在AWS环境中使用PostgreSQL RDS。 S3中有一些文件需要每周加载一次。 我在AWS文档中没有看到任何可以将数据从S3加载到PostgreSQL RDS的选项。 我觉得Aurora可能有用，但找不到PostgreSQL的任何东西。 任何帮助将不胜感激。
1 个解决方案
解决方案1
1 已采纳 2017-07-13 22:27:31
一种选择是使用AWS Data Pipeline。 它本质上是一个JSON脚本，允许您在AWS上编排源之间的数据流。
AWS提供了一个模板，用于在S3和MySQL之间移动数据。 你可以在这里找到它。 您可以轻松地遵循此操作并将MySQL参数与与Postgres实例关联的参数进行交换。 Data Pipeline只是将RDS作为类型查找，并且不区分MySQL和Postgres实例。
Data Pipeline也支持计划 ，因此您可以自动执行每周文件传输。
要开始这个：
- 转到AWS控制台中的Data Pipeline服务
- 在源下选择“从模板构建”
- 选择“加载S3到MySQL表”模板
- 填写其余字段并创建管道
从那里，您可以在控制台中监控管道的进度！
从Amazon S3读取500MB以上的数据并存储在RDS PostgreSQL中
[英]Reading more than 500MB data from amazon s3 and storing in RDS PostgreSQL
使用 ASW Commons/S3 库将数据从 RDS 实例导入到 PostgreSQL 的问题 11.1
[英]Problem Using ASW Commons/S3 Libraries to Import Data from RDS Instance to PostgreSQL 11.1
如何将数据从AWS Postgres RDS传输到S3（然后称为Redshift）？
[英]How to pipe data from AWS Postgres RDS to S3 (then Redshift)?
将数据从Kinesis（或s3）传输到RDS postgres chron作业
[英]Transfer data from Kinesis (or s3) to RDS postgres chron job
无法使用 aws_commons 扩展将 s3 数据导入 RDS(Postgresql)
[英]Unable to import s3 data to RDS(Postgresql) using aws_commons extension
将 csv 文件从 s3 导入 rds PostgreSQL 数据库 > 错误：模式“aws_commons 不存在
[英]Importing a csv file from s3 into rds PostgreSQL Database > Error: schema "aws_commons does not exist
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
如何将数据从S3加载到PostgreSQL RDS
如何将数据文件从 s3 导入 postgresql rds
从Amazon S3读取500MB以上的数据并存储在RDS PostgreSQL中
使用 ASW Commons/S3 库将数据从 RDS 实例导入到 PostgreSQL 的问题 11.1
如何将镶木地板文件从 s3 导入到 postgresql rds
如何将数据从AWS Postgres RDS传输到S3（然后称为Redshift）？
将数据从Kinesis（或s3）传输到RDS postgres chron作业
无法使用 aws_commons 扩展将 s3 数据导入 RDS(Postgresql)
AWS Redshift从S3加载数据
将 csv 文件从 s3 导入 rds PostgreSQL 数据库 > 错误：模式“aws_commons 不存在
相关标签