繁体 English 中英

在 EMR 中单独处理 s3 中的文件

[英]Process files in s3 separately in EMR

原文 2020-10-05 07:47:41 4 0 amazon-web-services/ amazon-s3/ pyspark/ amazon-emr

我在 s3 存储桶中有 200 个文件。 我想使用 EMR 中的 spark 作业分别处理每个文件。 我想我可以使用 Lambda 函数触发 spark 作业。 是否可以一个一个地运行每个输入文件而不为每次运行指定输入文件名？

[英]Concatenate S3 files to read in EMR

[英]Force AWS EMR to unzip files in S3

[英]AWS EMR process immediately as log lands in S3

[英]Uploading File to S3, then process in EMR and last transfer to Redshift

[英]How to filter S3 files as input for Amazon EMR?

[英]How to merge the small files on S3 generated by EMR with thousands of reducers

[英]Optimal File Size of S3 Files for Hadoop Job on EMR?

[英]list S3 folder on EMR

[英]EMR Hive connect to S3

[英]Trouble integrating EMR with S3

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 连接S3文件以在EMR中读取强制AWS EMR解压缩S3中的文件日志进入S3后，AWS EMR立即处理将文件上传到S3，然后在EMR中处理，最后一次传输到Redshift 如何过滤S3文件作为Amazon EMR的输入？如何将EMR生成的S3上的小文件与成千上万个reducer合并针对EMR上的Hadoop作业的S3文件的最佳文件大小？列出 EMR 上的 S3 文件夹 EMR Hive 连接到 S3 无法将EMR与S3集成

相关标签