使用谷歌云数据流读取多个镶木地板文件时如何判断记录来自哪个文件

Question

我需要能够将血统追溯到单个 parquet 文件，并能够执行批量加载，例如，如果要在数据流中发现缺陷，则重播几年的 parquet 文件。

经过多次尝试，以下内容适用于批量加载，其中 options.input 是RuntimeValueProvider而 SplitFn 只yields str.split() ：

with beam.Pipeline(options=PipelineOptions(), argv=args) as p:
    mainPipe = p \
        | 'CSV of URIs' >> beam.Create([options.input]) \
        | 'Split URIs into records' >> beam.ParDo(SplitFn(',')) \
        | "Read Parquet" >> beam.io.parquetio.ReadAllFromParquet(columns=[k for k in fields.keys()]) 

不幸的是， beam.io.parquetio.ReadAllFromParquet不会说每条记录来自哪个文件， ReadFromParquet和parquetio的唯一其他 function 也不会。

除了离开 Google Cloud Dataflow 或教导团队 Java 之外，我还能如何将多个 parquet 文件一次加载到 BigQuery 并知道每条记录来自哪个文件？

Answer 1

鉴于当前的 API 我没有看到为此的预制解决方案。 虽然您可以通过以下任一方式解决问题：

• 扩展/修改ReadAllFromParquet到 append 文件名到 output。
• 使用BQ 工具从 parquet 导入。 我不确定他们是否有完全相同的场景。