為什么Apache-Spark - Python在本地與熊貓相比如此之慢？

Question

這里有Spark新手。 我最近使用以下命令開始使用兩個內核在本地計算機上使用Spark：

pyspark --master local[2]

我有一個393Mb的文本文件，有近百萬行。 我想執行一些數據操作操作。 我使用PySpark的內置數據幀函數來執行簡單的操作，如groupBy ， sum ， max ， stddev 。

然而，當我在完全相同的數據集上對熊貓進行完全相同的操作時，pandas似乎在延遲方面以極大的差距擊敗了pyspark。

我想知道這可能是什么原因。 我有幾個想法。

1. 內置函數是否低效地執行序列化/反序列化過程？ 如果是的話，它們的替代品是什么？
2. 數據集是否太小，以至於無法超過運行spark的基礎JVM的開銷成本？

謝謝你的期待。 非常感激。

Answer 1

因為：

• Apache Spark是一個復雜的框架，旨在將處理分布在數百個節點上，同時確保正確性和容錯性。 每種屬性都有很高的成本。
• 因為純粹的內存內核處理（Pandas）比磁盤和網絡（甚至是本地）I / O（Spark）快幾個數量級。
• 因為並行性（和分布式處理）會增加顯着的開銷，即使具有最佳（令人尷尬的並行工作負載）也不能保證任何性能改進。
• 因為本地模式不是為性能而設計的。 它用於測試。
• 最后但並非最不重要 - 在393MB上運行的2個核心不足以看到任何性能改進，單個節點不提供任何分發機會
• 還有Spark：核心數量不一致的性能數量 ， 為什么pyspark在查找列的最大值時要慢得多？ 為什么我的Spark運行速度比純Python慢​​？ 性能比較

你可以這樣長時間繼續...