Python多處理進程和管道-700個進程合理嗎？

Question

該服務器運行32位Red Hat，帶8核。

必須實例化的公司類別不可腌制。

我嘗試線程化，但是達到4到7個並發線程會使性能下降到順序處理性能。 這部分是由於我對PySimpleClient和底層C ++實現的無知。

我嘗試使用Queues進行多處理，但這並不可靠，也無法提高性能。

我目前正在使用管道成功運行60個多進程進程。 性能出色，到目前為止，魯棒性非常好。

但是我最少需要700個進程。 700合理嗎？

Answer 1

我會說這在32位計算機上是不合理的。 我想在具有足夠內存的64位計算機上運行這種負載，以處理該數量的進程可能需要的所有開銷。