[英]Java Fork-Join not working with large ArrayList
我对并行性和并发性都很陌生,我正在尝试使用Java中的Fork-Join实现中值滤波器算法。 基本上我将输入文件读入ArrayList并使用该列表生成过滤中位数的新ArrayList(包括原始ArrayList的第一个和最后一个元素)。
现在我设法制作了算法的串行/顺序版本,它工作正常。 但是,当我尝试制作Fork-Join版本时,它似乎不适用于大型ArrayLists(100000+)。 我尝试使用一个非常小的大小为5的ArrayList,它工作正常。 我似乎无法找到我的错误(我肯定是一个逻辑错误和/或实现错误)。 任何帮助,将不胜感激。
这是顺序算法片段:
//Add first boundary element to output ArrayList
outputElements.add(this.elements.get(0));
//Start Filter Algorithm
while(elements.size()-counter >= filterSize){
for(int i = 0; i<filterSize; i++){
tempElements.add(this.elements.get(i+counter));
if(i==filterSize){
break;
}
}
Collections.sort(tempElements);
outputElements.add(tempElements.get((filterSize-1)/2));
counter++;
tempElements.clear();
}
//Add last boundary element to output ArrayList.
if (elements != null && !elements.isEmpty()) {
outputElements.add(elements.get(elements.size()-1));
}//End Filter Algorithm
这是我制作的并行类。 这是不起作用的部分:
public class Parallel extends RecursiveTask<List<Float>>{
int lo;
int hi;
int filterSize;
String outFile; //Output file name.
int arraySize;
List<Float> elements = new ArrayList<Float>();
List<Float> tempElements = new ArrayList<Float>();
List<Float> outputElements = new ArrayList<Float>();
int counter = 0;
static final int SEQUENTIAL_CUTOFF=1000;
public Parallel(List<Float> elements, int filterSize, String outFile, int lo, int hi) {
this.lo = lo;
this.hi = hi;
this.elements = elements;
this.outFile = outFile;
this.filterSize = filterSize;
if(lo == 0){
outputElements.add(this.elements.get(0));
}
}
@Override
protected List<Float> compute() {
long startTime = System.nanoTime(); //Algorithm starts here
if((hi-lo) < SEQUENTIAL_CUTOFF) {
while(hi-counter >= filterSize){
for(int i = lo; i<filterSize; i++){
tempElements.add(this.elements.get(i+counter));
if(i==filterSize){
break;
}
}
Collections.sort(tempElements);
outputElements.add(tempElements.get((filterSize-1)/2));
counter++;
tempElements.clear();
return outputElements;
}
}else{
Parallel left = new Parallel(this.elements, this.filterSize, this.outFile, this.lo, ((this.lo + this.hi)/2));
Parallel right = new Parallel(this.elements, this.filterSize, this.outFile, ((this.hi + this.lo)/2), this.hi);
left.fork();
List<Float> leftArr = new ArrayList<Float>();
List<Float> rightArr = new ArrayList<Float>();
rightArr = right.compute();
leftArr = left.join();
List<Float> newList = new ArrayList<Float>();
newList.addAll(leftArr);
newList.addAll(rightArr);
}
long endTime = System.nanoTime();//Algorithm ends here.
//Write elements to output file
PrintWriter writeOutput = null;
try {
writeOutput = new PrintWriter(this.outFile, "UTF-8");
} catch (FileNotFoundException | UnsupportedEncodingException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
writeOutput.println(outputElements.size());//Number of lines
for(int i=0; i<outputElements.size();i++){
writeOutput.println(i+1 + " " + outputElements.get(i)); //Each line is written
}
writeOutput.close(); //Close when output finished writing.
System.out.println("Parallel complete");
return null;
}
}
任何帮助都非常感谢。 在花了几个小时研究SO和谷歌后,我无法做到这一点。
编辑:musical_coder建议发布我面临的错误,他们在这里。 这是很多错误:
Exception in thread "main" java.lang.IndexOutOfBoundsException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at java.util.concurrent.ForkJoinTask.getThrowableException(ForkJoinTask.java:536)
at java.util.concurrent.ForkJoinTask.reportResult(ForkJoinTask.java:596)
at java.util.concurrent.ForkJoinTask.join(ForkJoinTask.java:640)
at java.util.concurrent.ForkJoinPool.invoke(ForkJoinPool.java:1521)
at main.main(main.java:45)
Caused by: java.lang.IndexOutOfBoundsException: Index: 1, Size: 0
at java.util.ArrayList.rangeCheck(ArrayList.java:635)
at java.util.ArrayList.get(ArrayList.java:411)
at Parallel.compute(Parallel.java:44)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:57)
at Parallel.compute(Parallel.java:1)
at java.util.concurrent.RecursiveTask.exec(RecursiveTask.java:93)
at java.util.concurrent.ForkJoinTask.doExec(ForkJoinTask.java:334)
at java.util.concurrent.ForkJoinWorkerThread.execTask(ForkJoinWorkerThread.java:604)
at java.util.concurrent.ForkJoinPool.scan(ForkJoinPool.java:784)
at java.util.concurrent.ForkJoinPool.work(ForkJoinPool.java:646)
at java.util.concurrent.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:398)
通常,您应该避免在多线程代码中使用ArrayList
,因为它不是线程安全的:
请注意,此实现不同步。 如果多个线程同时访问
ArrayList
实例,并且至少有一个线程在结构上修改了列表,则必须在外部进行同步。
我没有在你发布的片段中看到任何同时修改列表的内容,但我确实看到你将this.elements
传递给子Parallel
实例,这意味着你至少做了一些冒险的事情(共享指向可变,非线程的指针) - 线程之间的安全对象)。
作为第一遍,替换this.elements = elements;
在您的Parallel
构造函数中具有以下内容:
this.elements = Collections.unmodifiableList(elements);
通过使列表不可修改 ,您将确保如果您的Parallel
代码试图改变列表,您将在失败点处得到明确的错误。 这并不妨碍Parallel
之外的其他东西修改原始elements
列表,但它是一种快速,简单的方法来验证Parallel
的行为是否正确。 如果得到UnsupportedOperationException
,则需要重新设计Parallel
类 - 不能同时修改ArrayList
。
如果没有得到UnsupportedOperationException
,则其他内容正在修改您的列表。 您需要找到并删除它。
一旦你弄清楚导致你的列表同时发生变异的原因,你可以尝试确定最好的前进方法。 通过所有“正确”的方式在线程之间共享数据超出了我希望在这个答案中涵盖的范围,但这里有一些一般的经验法则:
Parallel
类设计为仅处理来自不可变数据结构的数据,例如Guava的ImmutableList
。 默认情况下,不可变数据结构是线程安全的。 ConcurrentLinkedQueue
是多个进程读取和写入同一数据结构的线程安全方式。 ConcurrentHashMap
是另一个常用的类。 你需要什么,取决于你想要做什么,但这些都是很好的起点。 Parallel
在没有任何显式同步的情况下写入outFile
。 这很危险,并且可能会引入问题(崩溃或更糟的数据损坏)。 一次只能有一个线程写入文件。 通过使用专用的文件写入线程或通过显式同步文件写入操作来实现。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.