Python多处理进程和管道-700个进程合理吗？

Question

该服务器运行32位Red Hat，带8核。

必须实例化的公司类别不可腌制。

我尝试线程化，但是达到4到7个并发线程会使性能下降到顺序处理性能。 这部分是由于我对PySimpleClient和底层C ++实现的无知。

我尝试使用Queues进行多处理，但这并不可靠，也无法提高性能。

我目前正在使用管道成功运行60个多进程进程。 性能出色，到目前为止，鲁棒性非常好。

但是我最少需要700个进程。 700合理吗？

Answer 1

我会说这在32位计算机上是不合理的。 我想在具有足够内存的64位计算机上运行这种负载，以处理该数量的进程可能需要的所有开销。