在多个设备上分布计算

Question

我的项目需要很长时间才能运行，我需要在处理器核心上创建线程，分布式数据以及进行处理，但是仍然需要很长时间，我试图尽我所能优化代码，如何在多台笔记本电脑上分布计算？

Answer 1

您可能会看一下支持MPICH2 API的Java MPI 。 我也听说过Terracotta提供的分布式JVM支持。

在不了解您的需求/应用程序的底层视图的情况下，很难提出一种可行的方法。

Answer 2

基于您的四个关键字： java ， machine-learning ，大bigdata和distributed-computing我得出结论，您想要类似hadoop东西。

它也是natural processing的理想选择。

再说一次，我没有您问题的任何细节，但是您会惊讶于hadoop可以做什么。

为了易于使用，您可能想看一下云计算，例如WatsonAnalytics

Answer 3

我认为这取决于您的处理要求。 如果您的计算机无法快速处理需要在某些数据集上进行的某些数学计算，则可以批处理并同时将其发送到其他计算机，并从每个计算机轮询结果。 有多种语言可用的异步操作，您可以利用它们来发送（批处理的位置或批处理自身的批处理）到多台计算机。