为什么Apache-Spark - Python在本地与熊猫相比如此之慢？

Question

这里有Spark新手。 我最近使用以下命令开始使用两个内核在本地计算机上使用Spark：

pyspark --master local[2]

我有一个393Mb的文本文件，有近百万行。 我想执行一些数据操作操作。 我使用PySpark的内置数据帧函数来执行简单的操作，如groupBy ， sum ， max ， stddev 。

然而，当我在完全相同的数据集上对熊猫进行完全相同的操作时，pandas似乎在延迟方面以极大的差距击败了pyspark。

我想知道这可能是什么原因。 我有几个想法。

1. 内置函数是否低效地执行序列化/反序列化过程？ 如果是的话，它们的替代品是什么？
2. 数据集是否太小，以至于无法超过运行spark的基础JVM的开销成本？

谢谢你的期待。 非常感激。

Answer 1

因为：

• Apache Spark是一个复杂的框架，旨在将处理分布在数百个节点上，同时确保正确性和容错性。 每种属性都有很高的成本。
• 因为纯粹的内存内核处理（Pandas）比磁盘和网络（甚至是本地）I / O（Spark）快几个数量级。
• 因为并行性（和分布式处理）会增加显着的开销，即使具有最佳（令人尴尬的并行工作负载）也不能保证任何性能改进。
• 因为本地模式不是为性能而设计的。 它用于测试。
• 最后但并非最不重要 - 在393MB上运行的2个核心不足以看到任何性能改进，单个节点不提供任何分发机会
• 还有Spark：核心数量不一致的性能数量 ， 为什么pyspark在查找列的最大值时要慢得多？ 为什么我的Spark运行速度比纯Python慢​​？ 性能比较

你可以这样长时间继续...