从外部供应商 s3 存储桶到我（公司）AWS s3 存储桶的 SFTP
[英]SFTP from External vendor s3 bucket to my (company's) AWS s3 bucket
问题描述
Task : Load 13TB (100s of files) from an external s3 bucket to company s3 bucket
任务：将 13TB（100 个文件）从外部 s3 存储桶加载到公司 s3 存储桶
Given : .pem and .ppk file, s3 hostname, username给定：.pem 和 .ppk 文件、s3 主机名、用户名
Done so far : Able to view files via FileZilla/WinSCP using provided .pem/.ppk file, hostname and username到目前为止完成：能够使用提供的 .pem/.ppk 文件、主机名和用户名通过 FileZilla/WinSCP 查看文件
Requirements : Determine best way to load these hundreds of .gz files from an external vendor's s3 bucket to my company's s3 bucket, preserving the same structure.要求：确定将这数百个 .gz 文件从外部供应商的 s3 存储桶加载到我公司的 s3 存储桶的最佳方式，并保留相同的结构。 And then loading the same into snowflake from internal s3.然后将其从内部 s3 加载到雪花中。 Options being considered: AWS Snowball, python, Volume --> s3, python to load into snowflake from s3.正在考虑的选项：AWS Snowball、python、Volume --> s3、python 从 s3 加载到雪花中。
I am unsure how to proceed.我不确定如何继续。 Any input?任何输入？
1 个解决方案
解决方案1
0 2021-06-30 22:33:39
If the vendor is willing to work with you and S3 is the final destination, I would ask if they could set replication to your bucket.如果供应商愿意与您合作并且 S3 是最终目的地，我会问他们是否可以将复制设置到您的存储桶。
https://docs.aws.amazon.com/AmazonS3/latest/userguide/replication.html https://docs.aws.amazon.com/AmazonS3/latest/userguide/replication.html
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.