多个节点的numpy并行化？

Question

对于某些numpy操作，例如np.dot可以使用更多的内核。 是否还可以使用多个节点？

Answer 1

Numpy并非旨在轻松拆分为多个节点而设计。 您必须手动执行拆分，即拆分为由不同节点处理的子数组（如果可能的话，完全针对您的操作）。

您可能使用多个内核，具体取决于基础库[1] 。

另外，您可以查看Blaze和Dask模块以了解具有多核支持的Numpy类型的操作。

Answer 2

为了拆分多个进程的工作，您必须实现Process （不是Thread）！

示例（摘自官方文档）：

from multiprocessing import Process

def f(name):
    print('hello', name)

if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

有关详细信息，请参阅官方文档

此外， 该主题可能是与您的情况相关的numpy优化语法所感兴趣的。

编辑如该链接所述 ，您可以使用它来拆分核心或节点！