使用 S3DistCp 覆盖 S3 中的现有文件
[英]Overwrite an existing file in S3 using S3DistCp
问题描述
每天运行后，我正在尝试使用 S3-Dist-Cp 命令将日志文件从 EMR 集群写入我的 S3 存储桶。 如果该文件（同名）已存在于 S3 文件中，S3-Dist-Cp 将写入一个新文件并在文件名后附加一个数字。
有没有办法可以使用 S3-Dist-Cp 覆盖 S3 中的现有文件（我没有看到来自 AWS 的 S3DistCp 文档的 -overwrite 标志或 -delete 标志）？
0 个解决方案
将distcp和s3distcp与输出到HDFS的EMR作业一起使用时出现问题
[英]Problems using distcp and s3distcp with my EMR job that outputs to HDFS
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.