繁体 English 中英

如何以编程方式有效地将文件从HDFS复制到S3

[英]How to copy files from HDFS to S3 effectively programatically

原文 2010-09-14 18:09:37 0 1 amazon-s3/ hadoop/ hdfs

我的hadoop作业在HDFS上生成大量文件，我想编写一个单独的线程，将这些文件从HDFS复制到S3。

任何人都可以指向任何处理它的Java API。

谢谢

1 个解决方案

“支持S3块文件系统已添加到Hadoop 0.11.0中的$ {HADOOP_HOME} / bin / hadoop distcp工具中（参见HADOOP-862）.distcp工具设置MapReduce作业来运行副本。使用distcp，a许多成员的集群可以快速复制大量数据。映射任务的数量是通过计算源中文件的数量来计算的：即每个映射任务负责复制一个文件。源和目标可以指不同的文件系统类型。例如，source可能引用本地文件系统或以S3为目标的hdfs。“

在这里查看运行批量复制进出S3 http://wiki.apache.org/hadoop/AmazonS3

将文件从s3复制并提取到HDFS

[英]Copy and extract files from s3 to HDFS

如何从HDFS到S3获取文件

[英]How to get files from HDFS to S3

将文件从S3增量复制到本地hdfs

[英]incrementally copy files from S3 to local hdfs

可以使用distcp将文件目录从S3复制到HDFS吗？

[英]Can distcp be used to copy a directory of files from S3 to HDFS?

如何将文件从S3复制到Amazon EMR HDFS？

[英]How do I copy files from S3 to Amazon EMR HDFS?

复制并从S3解压缩到HDFS

[英]Copy and unzip from S3 to HDFS

使用Spark从S3复制到HDFS

[英]Copy from S3 TO HDFS Using Spark

如何将大文件从HDFS上传到S3

[英]How to upload large files from HDFS to S3

使用distcp或s3distcp将文件从S3复制到HDFS

[英]Copy files from S3 to HDFS using distcp or s3distcp

使用distp和s3a方案将文件从HDFS复制到Amazon S3

[英]Copy files from HDFS to Amazon S3 using distp and s3a scheme

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 将文件从s3复制并提取到HDFS 如何从HDFS到S3获取文件将文件从S3增量复制到本地hdfs 可以使用distcp将文件目录从S3复制到HDFS吗？如何将文件从S3复制到Amazon EMR HDFS？复制并从S3解压缩到HDFS 使用Spark从S3复制到HDFS 如何将大文件从HDFS上传到S3 使用distcp或s3distcp将文件从S3复制到HDFS 使用distp和s3a方案将文件从HDFS复制到Amazon S3

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM