java多线程ExecutorService

Question

我正在尝试为Lucene索引创建多线程。 假设我有一个从101到999的数字列表。我想要实现的是将这个列表分成不同的组，每个组由不同的线程处理。

我可以将其分区到不同的组，但是，在运行多线程时，在这种情况下，所有线程仅采用第一个分区（l [0]）。 例如，上面的代码创建了3个线程（t1，t2，t3），我还具有三个分区（p1，p2，p3），其中p1 [101,400]，p2 [401,600]，p3 [601,999]。 假设t1在p1上运行，t2在p2上运行，t3在p3上运行。 但是现在，所有线程都在p1上运行。

有谁知道如何修理它？

根据蒂姆的建议添加了更改，但结果仍然相同

final int BLOCK_SIZE = 1; 
AtomicInteger nextBlock = new AtomicInteger(0);
 int blockToProcess =  nextBlock.getAndIncrement(); 
 int endBlocks = (blockToProcess+partitions.size())*BLOCK_SIZE; 
 for(int i=BLOCK_SIZE*blockToProcess;i<endBlocks;i++)
 { 
  Myclass it=new Myclass(l);
  todo.add( Executors.callable(it));
  } 
 taskExecutor.invokeAll(todo);

对于分区，我使用了Guava库并通过输出进行了确认，因此分区似乎可以

我也尝试过跟踪，但结果仍然相同。 实际上，以下是我刚开始的工作。

 for(int i=0;i<partitions.size;i++)
{ 
Myclass it=new Myclass(partitions.get(i)); 
taskExecutor.execute(it);
 } 

---

为了使事情变得更加轻松和整洁，我刚刚创建了全新的测试文件，如下所示，有两个类：Test和TestThreads For Test类

    public class Test {

public static void main(String[] args) throws InterruptedException {
    // TODO Auto-generated method stub

    int numOfthreads=2;
    List<String> originalList=new ArrayList<String>();

    for(int i=0;i<20;i++)
    {
        originalList.add(Integer.toString(i));
    }

    int partitionSize = IntMath.divide(originalList.size(), numOfthreads, RoundingMode.UP);
    List<List<String>> partitions=Lists.partition(originalList, partitionSize);
    List<Callable<Object>> todo = new ArrayList<Callable<Object>>();
    int count=0;
    ExecutorService taskExecutor = Executors.newFixedThreadPool(numOfthreads);

      for(int i=0;i<partitions.size();i++)
      { 
          TestThreads  it=new TestThreads(partitions.get(i));

            todo.add( Executors.callable(it));
             System.out.println("Created thread " +count+", containing: "
             +partitions.get(i).size()+" files\n");
             for(String s:partitions.get(i))
             {
                 System.out.print(s+" ");
             }
             count++;
             System.out.println("\n");
         }

        taskExecutor.invokeAll(todo);

}

 }

对于TestThreads类：

   public class TestThreads implements Runnable {
private static List<String> lis;
public TestThreads(List<String> list)
{
    lis=list;
}
   public void run()
   {
System.out.println("This is thread "+Thread.currentThread().getId());

System.out.println("-----------------------------------------");
for(String s:lis)
{
    System.out.println(s);
}
   }
   }

更新：

是导致问题的STATIC列表，删除它后一切正常。 感谢Tim和Xiezi的时间和帮助！

Answer 1

您需要一种将块分配给不同线程的方法。

最简单的方法可能是使用AtomicInteger存储需要处理的“下一个块”。 每个线程在nextBlock整数上调用getAndIncrement() ，然后处理相关的块。

例如：

static final int BLOCK_SIZE = 100;
AtomicInteger nextBlock = new AtomicInteger(0);


private class Processor implements Runnable {
     public void run() {
          int blockToProcess = nextBlock.getAndIncrement();
          int end = (blockToProcess+1)*BLOCK_SIZE;

          for (int i=BLOCK_SIZE*blockToProcess;i<end;i++) {
              process(data[i]);
          }
     }
}

因此，内存中的所有代码都可能具有一些拼写错误/方法名称，需要更正/ etc。

重要的是使用AtomicInteger，这可以确保为每个线程安全地分配一个线程以供处理。

我本打算将其添加到您的问题中，但是可以。 您尝试执行此操作，但未执行所需的操作：

final int BLOCK_SIZE = 1; 
AtomicInteger nextBlock = new AtomicInteger(0);
 int blockToProcess =  nextBlock.getAndIncrement(); 
 int endBlocks = (blockToProcess+partitions.size())*BLOCK_SIZE; 
 for(int i=BLOCK_SIZE*blockToProcess;i<endBlocks;i++)
 { 
  Myclass it=new Myclass(l);
  todo.add( Executors.callable(it));
  } 
 taskExecutor.invokeAll(todo);

实际上，您在这里有两个选择-由于您是提前创建任务的，因此您可以告诉每个任务此时要处理的内容。 我建议每个任务在执行时选择下一个块的方式。

要按照您在此处尝试的方式进行操作，您可以忘记AtomicInteger，而只需执行以下操作：

 for(int i=0;i<partitions.size;i++)
 { 
    Myclass it=new Myclass(partitions.get(i)); // or just MyClass(i) and then MyClass pulls out the list from partitions
    taskExecutor.execute(it);
  } 

哪里

 public class MyClass implements Runnable {
       List<String> toProcess;
       MyClass(List<String> toProcess) {
           this.toProcess = toProcess;
       }


       @override
       public void run() {
           // Process the list
       }
 }

要么

 public class MyClass implements Runnable {
       int toProcess;
       MyClass(int toProcess) {
           this.toProcess = toProcess;
       }


       @override
       public void run() {
           // Process the list
           List<String> list = partitions.get(toProcess);
       }
 }

Answer 2

我敢打赌，这仅仅是因为您的分区中存在错误。 确保它确实在正确分区，或者尝试执行此操作（它使用Guava库进行分区）。

ExecutorService taskExecutor = Executors.newFixedThreadPool(3);
List<String> input = //input
List<Future<Object>> tickets = new ArrayList<Future<Object>>();
for (List<String> partition : Lists.partition(input, 1000)) {
    Future<Object> ticket = 
        input.submit(Executors.callable(new Myclass(partition)));
    tickets.add(ticket);
}

for(Future<Object> ticket : tickets){
    ticket.get();
}

（此示例将输入分为长度为1000的列表）

Answer 3

对于您的新测试代码，有两件事：

1. 您可能不太了解多线程。 它们输出结果的方式无法显示任何内容。 您应该使用线程ID输出结果，而不是将其放在开头：

    public void run() { for (String s : lis) { System.out.println(Thread.currentThread().getId() + " : " + s); } } 

2. 为什么将列表作为static放在TestThreads类中？ 您可能最好检查使用static的方式。 我相信这就是原因。 您可以尝试使用与我的代码相同的代码，除了删除static ：

    import java.math.RoundingMode; import java.util.ArrayList; import java.util.List; import java.util.concurrent.Callable; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import com.google.common.collect.Lists; import com.google.common.math.IntMath; public class Test { public static void main(String[] args) throws InterruptedException { // TODO Auto-generated method stub int numOfthreads = 2; List<String> originalList = new ArrayList<String>(); for (int i = 0; i < 20; i++) { originalList.add(Integer.toString(i)); } int partitionSize = IntMath.divide(originalList.size(), numOfthreads, RoundingMode.UP); List<List<String>> partitions = Lists.partition(originalList, partitionSize); List<Callable<Object>> todo = new ArrayList<Callable<Object>>(); int count = 0; ExecutorService taskExecutor = Executors .newFixedThreadPool(numOfthreads); for (int i = 0; i < partitions.size(); i++) { TestThreads it = new TestThreads(partitions.get(i)); todo.add(Executors.callable(it)); System.out.println("Created thread " + count + ", containing: " + partitions.get(i).size() + " files\\n"); for (String s : partitions.get(i)) { System.out.print(s + " "); } count++; System.out.println("\\n"); } taskExecutor.invokeAll(todo); } public static class TestThreads implements Runnable { private List<String> lis; public TestThreads(List<String> list) { lis = list; } public void run() { for (String s : lis) { System.out.println(Thread.currentThread().getId() + " : " + s); } } } } 

更新：

是导致问题的STATIC列表，删除它后一切正常。 感谢Tim和Xiezi的时间和帮助！