將 apache crunch Pcollection 寫入多個 output 文件

Question

我有一個緊縮的 dofn 生成一個 Pcollection，當前我將 pcollection 寫入單個 avro 文件我想將 Pcollection 寫入多個文件。

 PCollection<String> generatedResults = results.parallelDo(new AvroGeneratorDofn(count),Avros.specifics(String.class));
    //generatedResults.write(To.avroFile(outputPath));
    pipeline.write(generatedResults,new AvroFileTarget(outputPath), Target.WriteMode.APPEND);

Answer 1

相同的 PCollection 可以寫入任意數量的目標，

generatedResults.write(To.avroFile(outputPath));
generatedResults.write(new AvroFileTarget(outputPath), Target.WriteMode.APPEND);

請參閱Apache 緊縮 - 入門：

正如單個 Pipeline 實例可以從多個 Source 讀取數據一樣，Pipeline 也可以為每個 PCollection 寫入多個輸出。