Apache Crunch：如何設置多個輸入路徑？

Question

我有一個問題：使用Apache Crunch時無法設置多個輸入路徑。 我怎么解決這個問題？

Answer 1

您可以通過在列表中指定所有輸入路徑來添加多個輸入文件，以便進行處理。

public class Name {

public static void main(String[] args) {
    Pipeline pipeline =  new MRPipeline(Name.class, jobName, conf);
    List<Path> inputPathList = new ArrayList<>(); // Add your InputPaths here
    PCollection<String> source = From.sequenceFile(inputPathList, Text.class);
  }
}