使用AWS Glue在S3存储桶中传输文件
[英]Transfer files within S3 buckets using AWS Glue
问题描述
有没有一种方法可以通过Python脚本使用AWS Glue将文件从一个S3存储桶传输到另一个S3存储桶？
1 个解决方案
解决方案1
0 2018-05-15 13:14:44
- Create a Crawler for your bucket - it will discover the schema of your data and add it as table to Glue Catalog
为您的存储桶创建一个Crawler-它会发现您的数据模式并将其作为表添加到Glue Catalog中 - Use Job wizard and select your table as source, and new table as target 使用作业向导并选择您的表作为源，并选择新表作为目标
- Glue will generate the code for you where you have to select the destination of your data, specify format etc. Glue将为您生成代码，您必须在其中选择数据的目的地，指定格式等。
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
要求是通过 lambda 在 s3 存储桶之间传输文件，动态获取源 s3 文件的密钥 - Requirement is transfer of files between s3 buckets through lambda, taking keys of source s3 file dynamically
将存储桶从 S3 传输到 GCS 并在不先下载存储桶的情况下使用 python3 进行反向传输？ - Transfer buckets from S3 to GCS and reverse as well using python3 without downloading the buckets first?
是否可以编辑 s3 存储桶中的文件？ - Is it possible to edit files in an s3 buckets?
使用 AWS Glue 将 ACL 权限写入 S3 中的 write_dynamic_frame_from_options - ACL permissions for write_dynamic_frame_from_options in to S3 using AWS Glue
如何使用 boto3 在 2 个不同帐户的 S3 存储桶之间复制文件 - How to copy files between S3 buckets in 2 different accounts using boto3
获取AWS S3中所有存储桶的名称和计数 - Get the names and count of all buckets in AWS S3
如何使用 Python3 获取 AWS 中所有 S3 存储桶的名称 - How to get names of all S3 buckets in AWS with Python3
使用 AWS Python SDK boto3 从表中列出由 AWS Glue 解析的所有 S3 文件 - List all S3-files parsed by AWS Glue from a table using the AWS Python SDK boto3
使用python boto3将文件从一个S3存储桶传输到另一个S3存储桶 - Transfer files from one S3 bucket to another S3 bucket using python boto3
如何在aws Glue中将json写回s3？ - how to write json back to the s3 in aws Glue?
相关标签