如何使用多线程/多处理代替 For 循环与 pandas dataframe

Question

目前，我在一个项目中，根据 dataframe 行中提供的数据执行验证，所以我目前的方法是执行验证的顺序方法。

for index in mt.index():
    #File Reading 
    #performing validation

但我想实现多线程/多处理以提高我在当前方法中的处理时间，这将花费比预期更多的时间。 任何人都可以建议或帮助我如何实现增强我的脚本性能的多线程/多处理。

Answer 1

您可以使用池 API：

from multiprocessing import Pool

p = Pool()

def validate(index):
   ## do validation work for a given index here

result = p.map(validate, mt.index())

map function 将在mt.index()的值上并行化循环。 查看这些文档以获取更多选项。