map-reduce如何在HDFS和S3上运行？

Question

我一直试图了解在HDFS和S3上执行map-reduce作业的方式有多么不同。 有人可以解答我的问题：

通常，HDFS集群不仅面向存储，还包含执行MR作业的功能; 这就是为什么作业被映射到几个数据节点上并且减少了几个。 确切地说，映射（过滤器等）在本地对数据完成，而减少（聚合）在公共节点上完成。

这种方法是否与S3一样有效？ 据我了解，S3只是一个数据存储。 hadoop是否必须从S3复制整数数据然后在本地运行Map（过滤器）和减少（聚合）？ 或者它遵循与HDFS完全相同的方法。 如果前一种情况属实，则在S3上运行作业可能比在HDFS上运行作业慢（由于复制开销）。

请分享你的想法。

Answer 1

如果您在EC2中有一个Hadoop集群，并且您在S3数据上运行MapReduce作业，那么数据将被流式传输到集群中以运行该作业。 正如您所说，S3只是一个数据存储，因此您无法将计算带入数据。 这些非本地读取可能会导致处理大型作业的瓶颈，具体取决于数据的大小和群集的大小。

Answer 2

S3的性能比HDFS慢，但它提供了其他功能，如桶版本化和弹性以及其他数据恢复方案（Netflix使用S3使用Hadoop集群）。

从理论上讲，在拆分计算之前，需要确定输入文件的大小，因此hadoop本身在S3之上具有文件系统实现，这允许更高层不依赖于数据源。 Map-Reduce针对每个输入目录调用通用文件列表API，以获取目录中所有文件的大小。

Amazons EMR有一个特殊版本的S3文件系统，它可以直接将数据流式传输到S3而不是缓冲到中间本地文件，这可以使它在EMR上更快。