[英]Copy multiple files from hadoop to s3 bucket
我在Hadoop目录中有几个文件。 我正在尝试将文件从hadoop目录复制到s3存储桶。
文件清单
sample1.txt
sample2.txt
sample3.txt
我想一次复制所有文件
aws s3 cp *.txt s3://bucket-name/samples/
它告诉我错误
usage: aws [options] <command> <subcommand> [<subcommand> ...] [parameters]
您可以执行以下操作:
aws s3 cp . s3://<bucket-name> --recursive --exclude "*" --include "*.txt"
aws s3 cp <Hadoop-Dir-Path> s3://<bucket-name> --recursive --exclude "*" --include "*.txt"
或者您也可以使用sync:
aws s3 sync . s3://<bucket-name> --exclude "*" --include "file.*"
请注意,默认情况下,所有文件都包括在内。 这意味着仅提供--include过滤器将不会更改要传输的文件。 --include将仅重新包括从--exclude过滤器中排除的文件。 如果只想上传具有特定扩展名的文件,则需要首先排除所有文件,然后重新包含具有特定扩展名的文件。 此命令将仅上传以.txt结尾的文件。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.