如果并行Java程序受内存限制，如何提高性能？

Question

我写了一个并行的Java程序。 它通常可以正常工作：

• 它以String input作为输入；
• 然后将input均匀地切成String inputs[numThreads] ；
• 每个inputs[i]被分配给thread_i进行处理，并生成results[i] ；
• 所有工作线程完成后， main线程将results[i]合并为result 。

10核（物理核）计算机上的性能数据如下。

Threads#    1 thread    2 threads   4 threads   8 threads   10 threads
Time(ms)       78           41          28          21           21

注意：

• JVM的预热时间已经消除（前50次运行）。
• 时间不包括线程的开始/加入时间。

当线程数超过8时，内存带宽似乎成为瓶颈。

在这种情况下，如何进一步提高性能？ 我的并行Java程序中是否存在任何设计问题？

为了检查此可伸缩性问题的原因，我在process(inputs[i])方法中插入了一个（无意义的计算）循环。 这是新数据：

Threads#    1 thread      10 threads
Time(ms)     41000          4330

新数据显示10个线程具有良好的可伸缩性，这反过来确认了原始数据（无意义的循环）存在内存问题，因此其可伸缩性仅限于8个线程。

但是，无论如何要规避此问题，例如将数据预加载到每个内核的本地缓存中还是批量加载？

Answer 1

我发现这里不太可能出现内存带宽问题。 您的运行时间很可能如此之短，以至于当您接近0时，您大多只是在计时线程的启动/关闭或热插拔编译器的优化周期。 从运行时间如此短的Java任务中获取相关的计时信息几乎是一文不值。 最初运行的热插拔编译器和其他优化通常在类生命周期的早期就主导着CPU的使用。 只有经过数分钟的现场服务运营，我们的生产应用才能稳定。

如果您可以通过添加更多输入数据或一遍又一遍地计算相同的结果来显着增加运行时间，则可以更好地了解最佳线程数。

编辑：

现在您已经为更长的时间增加了1个线程和10个线程的时间，在我看来，您不受任何限制，因为时间似乎是线性的-带有一些线程开销。 10个线程的41000/10 = 4100和4330。

很好地演示了线程可以对受CPU约束的应用程序执行的操作。 :-)

Answer 2

您有几个逻辑核心？

考虑-假设您有一个核心和一百个线程。 要完成的工作是相同的，它不能分布在多个内核上，但是现在您有大量的线程切换开销。

现在想象一下，您说了四个核心和四个线程。 假设没有其他瓶颈，计算时间将减少四分之一。

现在，假设您有四个核心和八个线程。 您的计算时间大约为四分之一，但是您将添加一些线程交换开销。

请注意超线程，它可能会帮助您或妨碍您，具体取决于计算任务的性质。

Answer 3

我想说，您的损失归结于切换线程。 您拥有的线程比内核多，并且不需要阻塞较慢的进程，因此可以将它们切入，进行一些工作，然后将gettimg切出，再切入另一个线程。鉴于线程的本质，切换线程是一个昂贵的过程。您似乎在做什么，我本能地将线程数限制为8（为os留两个内核），而您的性能数字似乎让我失望。