如何使用 apache 光束創建 tar.gz 文件

Question

我使用以下內容創建了tar.gz文件，並且創建了.gz文件但 tar 文件不可用。 如何達到結果？

PCollection<String> lines = pipeline.apply("To read from file",
    TextIO.read().from(<file path>));

lines.apply(TextIO.write()
    .to("C:\\Ddrive\\saveAllRequest1.txt")
    .withCompression(Compression.GZIP);

以及如何解壓多個文件。

提前致謝

Answer 1

創建tar文件本質上是一種非並行操作。 此處的一種選擇是在使用手動創建 tarball 的 DoFn 寫入后使用等待轉換。