繁体 English 中英

使用AWS Glue在S3存储桶中传输文件

[英]Transfer files within S3 buckets using AWS Glue

原文 2018-05-15 11:18:44 8 1 python-3.x/ amazon-s3/ aws-glue

有没有一种方法可以通过Python脚本使用AWS Glue将文件从一个S3存储桶传输到另一个S3存储桶？

1 个解决方案

为您的存储桶创建一个Crawler-它会发现您的数据模式并将其作为表添加到Glue Catalog中
使用作业向导并选择您的表作为源，并选择新表作为目标
Glue将为您生成代码，您必须在其中选择数据的目的地，指定格式等。

要求是通过 lambda 在 s3 存储桶之间传输文件，动态获取源 s3 文件的密钥

[英]Requirement is transfer of files between s3 buckets through lambda, taking keys of source s3 file dynamically

将存储桶从 S3 传输到 GCS 并在不先下载存储桶的情况下使用 python3 进行反向传输？

[英]Transfer buckets from S3 to GCS and reverse as well using python3 without downloading the buckets first?

是否可以编辑 s3 存储桶中的文件？

[英]Is it possible to edit files in an s3 buckets?

使用 AWS Glue 将 ACL 权限写入 S3 中的 write_dynamic_frame_from_options

[英]ACL permissions for write_dynamic_frame_from_options in to S3 using AWS Glue

如何使用 boto3 在 2 个不同帐户的 S3 存储桶之间复制文件

[英]How to copy files between S3 buckets in 2 different accounts using boto3

获取AWS S3中所有存储桶的名称和计数

[英]Get the names and count of all buckets in AWS S3

如何使用 Python3 获取 AWS 中所有 S3 存储桶的名称

[英]How to get names of all S3 buckets in AWS with Python3

使用 AWS Python SDK boto3 从表中列出由 AWS Glue 解析的所有 S3 文件

[英]List all S3-files parsed by AWS Glue from a table using the AWS Python SDK boto3

使用python boto3将文件从一个S3存储桶传输到另一个S3存储桶

[英]Transfer files from one S3 bucket to another S3 bucket using python boto3

如何在aws Glue中将json写回s3？

[英]how to write json back to the s3 in aws Glue?

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 要求是通过 lambda 在 s3 存储桶之间传输文件，动态获取源 s3 文件的密钥将存储桶从 S3 传输到 GCS 并在不先下载存储桶的情况下使用 python3 进行反向传输？是否可以编辑 s3 存储桶中的文件？使用 AWS Glue 将 ACL 权限写入 S3 中的 write_dynamic_frame_from_options 如何使用 boto3 在 2 个不同帐户的 S3 存储桶之间复制文件获取AWS S3中所有存储桶的名称和计数如何使用 Python3 获取 AWS 中所有 S3 存储桶的名称使用 AWS Python SDK boto3 从表中列出由 AWS Glue 解析的所有 S3 文件使用python boto3将文件从一个S3存储桶传输到另一个S3存储桶如何在aws Glue中将json写回s3？

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM