如何在 Pyspark 中安裝外部 python 庫？

Question

當我是一些 pyspark 代碼時，它需要我安裝一個 Python 模塊，稱為fuzzywuzzy（我用來應用leiv距離）

這是一個 python 庫，似乎 pyspark 沒有安裝該模塊......那么，我如何在 Pyspark 中安裝這個模塊？

Answer 1

您可以正常使用pip ，但需要注意的是 Spark 可以在多台機器上運行，因此 Spark 集群中的所有機器（取決於您的集群管理器）都需要相同的 package（和版本）

或者，您可以使用--py-files參數將 zip、whl 或 egg 文件傳遞給 spark-submit，這些文件在代碼執行期間被解綁