在 Dataflow 中從 BigQuery 寫入雲存儲時如何設置文件大小而不是分片數

Question

目前使用 Dataflow 從 BigQuery 讀取表數據，並使用一定數量的分片寫入 Cloud Storage。

//Read Main Input
PCollection<TableRow> input = pipeline.apply("ReadTableInput",
    BigQueryIO.readTableRows().from("dataset.table"));

// process and write files
input.apply("ProcessRows", ParDo.of(new Process())
    .apply("WriteToFile", TextIO.write()
        .to(outputFile)
        .withHeader(HEADER)
        .withSuffix(".csv")
        .withNumShards(numShards));

為了管理文件大小，我們估計了將文件保持在一定大小下所需的總分片數。

有沒有辦法代替設置分片數量，設置文件大小並讓分片是動態的？

Answer 1

按照設計，這是不可能的。 如果您深入了解 Beam 的核心，您會以編程方式定義執行圖，然后運行它。 該過程在同一節點或多個節點/VM 上是大規模並行的（ ParDo表示“並行執行”）。

在這里，分片的數量只是並行工作以寫入文件的“作者”的數量。 然后 PCollection 將被拆分為所有工作人員寫入。

大小是非常可變的（例如消息的大小，文本編碼，壓縮與否以及壓縮因子，......）並且 Beam 不能依賴它來構建它的圖形。