將文件存儲到S3：本地文件與HDFS

Question

背景

使用Java將文件上傳到s3的簡單年齡問題

S3不支持流式傳輸（AFAIK），因此在上傳數據之前，需要將數據分組為一些適當大小的文件。

在創建上述臨時文件時，就位置而言，有些選​​項

1. 在某些指定目錄中本地
2. 在HDFS本地（如果可能的話，我什至不知道來自Hadoop的H）
3. 到hadoop集群中的HDFS

題

1. 哪一個可能更快？
2. 使用HDFS（本地或群集）與本地FS是否有優勢，HDFS本質上更接近S3格式？

技術和基礎設施

EC2，Linux，Java

Answer 1

如果本地有足夠的磁盤空間，則只需在本地進行。 否則，您可以將數據合並到HDFS上所需的存儲中，然后上載它們。 但是，HDFS不應該是您的首選。