使用Spark在S3上处理单个文件

Question

我在S3上有一个文件，希望通过多个节点使用Spark处理。 spark如何在后台实现该功能？ 每个工作节点是否都从S3中读取一部分数据（使用字节范围请求）？ 我试图了解在并行处理方面在HDFS和S3上使用Spark之间的区别。 使用EMR时有关系吗？

Answer 1

spark如何在后台实现该功能？

有很多市民文章解释火花是如何工作的喜欢这个 。

我试图了解在并行处理方面在HDFS和S3上使用Spark之间的区别。 使用EMR时有关系吗？

这取决于您的用例。 通常，它归结为：

• 您可以选择S3而不是HDFS作为持久性存储选项，该选项可以包含EMR群集寿命以外的数据。
• 无限（理论上）的存储限制。
• 高SLA和耐用性。
• 成本。 EMR上的HDFS是临时的。 因此，您无需保持集群运行就可以使用数据。 等 。

VS

• 由于S3通信涉及Internet上的API调用，因此HDFS在I / O操作，中间/临时数据位置中的速度更快。