pyspark中並行運行命令

Question

我在pyspark中有一小段代碼。

# save data frame as temp table 
df.createOrReplaceTempView("my_table")

# save data frame as csv
df.write.format("csv").save("my_csv")

現在執行1st命令，然后只執行2nd命令。

有沒有辦法可以parallel觸發這兩個命令，即我希望兩個命令同時執行

Answer 1

您可以使用 python multiprocessing

from multiprocessing import Process

def create_temp_view(df):
    df.createOrReplaceTempView("my_table")

def write_df(df):
    df.write.mode("overwrite").format("csv").save("my_csv")


p1 = Process(create_temp_view(df))
p1.start()
p2 = Process(write_df(df))
p2.start()
p1.join()
p2.join()