如何在python中使用多線程來實現它？

Question

我是 python 新手，我想了解如何使用多線程執行此操作，因為數據太大，此操作需要很多時間。

我在 spark 數據框 df_my 中有大約 2500 多列

d=[]
for x in df_my.columns:
  
    null_cnt= df_my.filter(df_my[x].isNotNull()).count()
    zero_cnt= df_my.filter(df_my[x]==0).count()
    fill_percent= str(((null_cnt)/total)*100)
    zero_percent= str(((zero_cnt)/null_cnt)*100)
    d.append({'Feature_name' : x,
              'Fillrate': fill_percent,
              'zero_percent':zero_percent })
    
final=spark.createDataFrame(d)
f_pandas=final.toPandas()
f_pandas.to_excel("output_pandas.xlsx") 

任何人都可以使用多線程幫助我做到這一點嗎？

Answer 1

您可以使用 pandarallel 的 .parallel_apply 函數進行多處理。 看看這個鏈接