如果我正在进行批处理，Spark 相对于 Mapreduce 到底有什么好处？

Question

我知道 Spark 具有对迭代作业非常有用的 memory 功能。 但是如果我的需求是传统的批处理 ETL 呢？ Spark 在那里给我提供任何好处吗？ 请给出与此相关的所有指示，这将对我有很大帮助。

1. 如果没有迭代工作并且它是一个批处理过程，Spark 如何帮助我？

2. 有没有 MapReduce 比 Spark 表现更好的场景？ MR 会比 Spark 更好的场景是什么？

Answer 1

假设你知道 Map Reduce，然后考虑：

• 当你需要列出前 N 个词时，在 MR 中编写 Word Counting。 与 Spark 中的 7 或 8 行相比，MR 中的多步工作要多得多。
• 对于维度处理为 la 维度 model 的人来说，在 Spark 中更容易做到。
• Spark Structured Streaming 用例...

如果您无法获得足够的硬件或云计算资源，即写入磁盘并按功能步骤处理，则使用 MR 可能会更好地处理某些数据量极高的任务。