無法將 pyspark 導入 python

Question

我有 pyspark 腳本（p1），它創建了數據幀並返回 dataframe。 同樣被導入不同的 python 腳本（p2）。 當我直接運行 p1 時，腳本成功執行，但是當我運行 p2 時，它失敗說“找不到模塊 p1”。 我已將 p1 導入 p2 腳本。

請指教。

Answer 1

使用--py-files參數傳遞 python 腳本

• 如果您使用 pyspark repl 添加 conf py 文件並將路徑傳遞給您的文件。
• 如果您使用 spark-submit 提交作業，則添加 --py-files 參數

Answer 2

對不起，我不清楚我在上面的消息中做了什么。

p1:

import... 
spark = SparkSession.() 
def func(query) 
    df = spark.sql(query) 
    return df

p2:
import...
import p1
df2 = p1.func('select * from tab')
df2.show()

然后將 p2 作為 python3 p2.py 運行——它說找不到模塊 p1

當我運行 p1 本身時，它可以工作

我刪除了與 spark 相關的命令，並放置了一些 python 函數，例如 print('abcd') 它工作正常。 所以我缺少與 pyspark 相關的要導入的內容。