[英]Java 8: How can I convert a for loop to run in parallel?
for (int i=0; i<100000; i++) {
// REST API request.
restTemplate.exchange(url, HttpMethod.GET, request, String.class);
}
我有一种情况,我必须为10万用户请求一个资源,它需要70分钟才能完成。 我试图尽可能地清理我的代码,我只能将它减少4分钟)。
由于每个请求彼此独立,我很乐意并行发送请求(可能是10s,100s甚至1000s的块,每次快速完成)。 我希望我能把时间减少到10分钟或者接近的时间。 如何计算哪个块大小可以快速完成工作?
我找到了以下方法,但我不知道该程序是否一次处理所有20个; 或一次5个; 或者一次10个。
IntStream.range(0,20).parallel().forEach(i->{
... do something here
});
我知道你的帮助。 我对任何建议或评论都持开放态度!
更新:我能够使用IntStream,并在28分钟内完成任务。 但我不确定这是我能做的最好的。
我在Java 8中使用了以下代码,它完成了工作。 我能够将批处理作业从28分钟减少到3:39分钟。
IntStream.range(0, 100000).parallel().forEach(i->{
restTemplate.exchange(url, HttpMethod.GET, request, String.class);
}
});
对parallel()
的标准调用将使用Common Fork Join Pool为您的机器可用的每个核心减去一个核心创建一个线程。
如果您想自己指定并行性,您将有不同的可能性:
System.setProperty("java.util.concurrent.ForkJoinPool.common.parallelism", "20")
例:
int allRequestsCount = 20;
int parallelism = 4; // Vary on your own
ForkJoinPool forkJoinPool = new ForkJoinPool(parallelism);
IntStream.range(0, parallelism).forEach(i -> forkJoinPool.submit(() -> {
int chunkSize = allRequestsCount / parallelism;
IntStream.range(i * chunkSize, i * chunkSize + chunkSize)
.forEach(num -> {
// Simulate long running operation
try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println(Thread.currentThread().getName() + ": " + num);
});
}));
这个实现只是为了给你一个想法的示例。
根据您的情况,您可以使用fork / join框架或创建执行程序服务池线程。
ExecutorService service = null;
try {
service = Executors.newFixedThreadPool(8);
service.submit(() -> {
//do your task
});
} catch (Exception e) {
} finally {
if (service != null) {
service.shutdown();
}
}
service.awaitTermination(1, TimeUnit.MINUTES);
if(service.isTerminated())
System.out.println("All threads have been finished");
else
System.out.println("At least one thread running");
并使用fork / join框架
class RequestHandler extends RecursiveAction {
int start;
int end;
public RequestHandler(int start, int end) {
this.start = start;
this.end = end;
}
@Override
protected void compute() {
if (end - start <= 10) {
//REST Request
} else {
int middle = start + (end - start) / 2;
invokeAll(new RequestHandler(start, middle), new RequestHandler(middle, end));
}
}
}
Public class MainClass{
public void main(String[] args){
ForkJoinTask<?> task = new RequestHandler(0, 100000);
ForkJoinPool pool = new ForkJoinPool();
pool.invoke(task);
}
}
我写过一篇关于此的短文。 它包含允许您控制池大小的简单工具:
https://gt-dev.blogspot.com/2016/07/java-8-threads-parallel-stream-how-to.html
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.