簡體 English 中英

如何以編程方式有效地將文件從HDFS復制到S3

[英]How to copy files from HDFS to S3 effectively programatically

原文 2010-09-14 18:09:37 5 1 amazon-s3/ hadoop/ hdfs

我的hadoop作業在HDFS上生成大量文件，我想編寫一個單獨的線程，將這些文件從HDFS復制到S3。

任何人都可以指向任何處理它的Java API。

謝謝

1 個解決方案

“支持S3塊文件系統已添加到Hadoop 0.11.0中的$ {HADOOP_HOME} / bin / hadoop distcp工具中（參見HADOOP-862）.distcp工具設置MapReduce作業來運行副本。使用distcp，a許多成員的集群可以快速復制大量數據。映射任務的數量是通過計算源中文件的數量來計算的：即每個映射任務負責復制一個文件。源和目標可以指不同的文件系統類型。例如，source可能引用本地文件系統或以S3為目標的hdfs。“

在這里查看運行批量復制進出S3 http://wiki.apache.org/hadoop/AmazonS3

將文件從s3復制並提取到HDFS

[英]Copy and extract files from s3 to HDFS

如何從HDFS到S3獲取文件

[英]How to get files from HDFS to S3

將文件從S3增量復制到本地hdfs

[英]incrementally copy files from S3 to local hdfs

可以使用distcp將文件目錄從S3復制到HDFS嗎？

[英]Can distcp be used to copy a directory of files from S3 to HDFS?

如何將文件從S3復制到Amazon EMR HDFS？

[英]How do I copy files from S3 to Amazon EMR HDFS?

復制並從S3解壓縮到HDFS

[英]Copy and unzip from S3 to HDFS

使用Spark從S3復制到HDFS

[英]Copy from S3 TO HDFS Using Spark

如何將大文件從HDFS上傳到S3

[英]How to upload large files from HDFS to S3

使用distcp或s3distcp將文件從S3復制到HDFS

[英]Copy files from S3 to HDFS using distcp or s3distcp

使用distp和s3a方案將文件從HDFS復制到Amazon S3

[英]Copy files from HDFS to Amazon S3 using distp and s3a scheme

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 將文件從s3復制並提取到HDFS 如何從HDFS到S3獲取文件將文件從S3增量復制到本地hdfs 可以使用distcp將文件目錄從S3復制到HDFS嗎？如何將文件從S3復制到Amazon EMR HDFS？復制並從S3解壓縮到HDFS 使用Spark從S3復制到HDFS 如何將大文件從HDFS上傳到S3 使用distcp或s3distcp將文件從S3復制到HDFS 使用distp和s3a方案將文件從HDFS復制到Amazon S3

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM