使用多线程并行化 Java 中的 for 循环

Question

我是 java 的新手，我想使用执行程序服务或使用 java 中的任何其他方法并行化嵌套的 for 循环。 我想创建一些固定数量的线程，这样 CPU 就不会完全被线程占用。

    for(SellerNames sellerNames : sellerDataList) {
        for(String selleName : sellerNames) {
        //getSellerAddress(sellerName)
        //parallize this task
        }
    }

sellerDataList 的大小 = 1000，sellerNames 的大小 = 5000。

现在我想创建 10 个线程并将相等的任务块平均分配给每个线程。 这是针对第 i 个 sellerDataList，第一个线程应获取 500 个名称的地址，第二个线程应获取下一个 500 个名称的地址，依此类推。
完成这项工作的最佳方法是什么？

Answer 1

有两种方法可以让它并行运行：Streams 和 Executors。

使用流

您可以使用并行流并将其余的留给 jvm。 在这种情况下，您对何时发生的事情没有太多控制权。 另一方面，您的代码将易于阅读和维护：

    sellerDataList.stream().forEach(sellerNames -> {
        Stream<String> stream = StreamSupport.stream(sellerNames.spliterator(), true); // true means use parallel stream
        stream.forEach(sellerName -> {
            getSellerAddress(sellerName);
        });
    });

使用 ExecutorService

假设，您想要 5 个线程，并且希望能够等到任务完成。 然后你可以使用一个有 5 个线程的固定线程池并使用Future -s 这样你就可以等到它们完成。

    final ExecutorService executor = Executors.newFixedThreadPool(5); // it's just an arbitrary number
    final List<Future<?>> futures = new ArrayList<>();
    for (SellerNames sellerNames : sellerDataList) {
        for (final String sellerName : sellerNames) {
            Future<?> future = executor.submit(() -> {
                getSellerAddress(sellerName);
            });
            futures.add(future);
        }
    }
    try {
        for (Future<?> future : futures) {
            future.get(); // do anything you need, e.g. isDone(), ...
        }
    } catch (InterruptedException | ExecutionException e) {
        e.printStackTrace();
    }

Answer 2

如果您使用的是并行流，您仍然可以通过创建自己的 ForkJoinPool 来控制线程。

List<Long> aList = LongStream.rangeClosed(firstNum, lastNum).boxed()
  .collect(Collectors.toList());

ForkJoinPool customThreadPool = new ForkJoinPool(4);
long actualTotal = customThreadPool.submit(
  () -> aList.parallelStream().reduce(0L, Long::sum)).get();

在此站点上，对它的描述非常好。 https://www.baeldung.com/java-8-parallel-streams-custom-threadpool