如何在python中编写程序并行运行5000个函数？

Question

我有一个时间序列数据，我已经在其上训练了 5000 个不同的回归器（模型）。 每个 model 需要预测 100 个不同的类别，每个类别 30 个不同的子类别，200 个值。 IE

时间预测方法运行的总数为 5000 x 100 x 30 = 15,000,000

---

我有一个想法，这可以使用并行处理来完成（每个模型的输入不依赖于另一个模型的输出）。 但是，我不是并行处理方面的专家。
完成任务的最有效方法是什么？
每个 function 调用的平均时间：5-10 ms

Answer 1

无论如何，我也不是专家，所以对我的回答持保留态度，但应该可以

from threading import Thread

threads_list=[]

for n, Func in ["list of functions here"]:
    exec(f'Func_{n} = Thread(target = Func, args = ("tuple of arguments here")')
    exec(f"Func_{n}.start()")
    exec(f"threads_list.append(Func_{n})")

for thread in threads_list:
    thread.join()

这将每个 function 作为线程并行运行，然后等待每个完成，然后再继续执行代码的 rest（这可能依赖于这些线程的 Z78E6221F6393D1356681DB398F14CE6）