如何在一個終端提交許多mapreduce工作？

Question

我正在使用mapreduce來運行程序，提交一個作業：我可以使用以下格式./hadoop jar program.jar參數

在一個終端，這可以提交一份工作，但如果我想提交100份工作怎么辦？ 不可能
打開100個終端，所以我正在尋找批量工作提交方法，謝謝！

Answer 1

您在main方法中的循環中調用ToolRunner.run（..）。 請務必修改您的Tool實例以調用Job.submit()而不是Job.waitForCompletion() - 確保您的作業並行運行而不是順序運行（您仍然只能使用群集並行運行的作業數量） size / config）：

public class MyDriver extends Configured implements Tool {
  public static void main(String args[]) {
    for (int x = 0; x < 100; x++) {
      ToolRunner.run(new MyDriver(), args);
    }
  }

  public int run(String args) {
    Job job = new Job(getConf());

    // job set up
    // ...

    job.submit();
  }
}