使用谷歌雲數據流讀取多個鑲木地板文件時如何判斷記錄來自哪個文件

Question

我需要能夠將血統追溯到單個 parquet 文件，並能夠執行批量加載，例如，如果要在數據流中發現缺陷，則重播幾年的 parquet 文件。

經過多次嘗試，以下內容適用於批量加載，其中 options.input 是RuntimeValueProvider而 SplitFn 只yields str.split() ：

with beam.Pipeline(options=PipelineOptions(), argv=args) as p:
    mainPipe = p \
        | 'CSV of URIs' >> beam.Create([options.input]) \
        | 'Split URIs into records' >> beam.ParDo(SplitFn(',')) \
        | "Read Parquet" >> beam.io.parquetio.ReadAllFromParquet(columns=[k for k in fields.keys()]) 

不幸的是， beam.io.parquetio.ReadAllFromParquet不會說每條記錄來自哪個文件， ReadFromParquet和parquetio的唯一其他 function 也不會。

除了離開 Google Cloud Dataflow 或教導團隊 Java 之外，我還能如何將多個 parquet 文件一次加載到 BigQuery 並知道每條記錄來自哪個文件？

Answer 1

鑒於當前的 API 我沒有看到為此的預制解決方案。 雖然您可以通過以下任一方式解決問題：

• 擴展/修改ReadAllFromParquet到 append 文件名到 output。
• 使用BQ 工具從 parquet 導入。 我不確定他們是否有完全相同的場景。