Beam/Dataflow 读取 Parquet 文件并将文件名/路径添加到每条记录

Question

I'm using Apache Beam Python SDK and I'm trying to read data from Parquet files using apache_beam.io.parquetio , but I also want to add the filename (or path) to the data since it contains data as well. 我在这里查看了建议的模式并读到 Parquetio 与 fileio 类似，但它似乎没有实现允许 go 通过文件并将其添加到聚会的功能。

有人想出一个很好的方法来实现这个吗？

谢谢！

Answer 1

如果文件的数量不是很大，您可以通过 IO 在阅读之前获取所有文件。

import glob

filelist = glob.glob('/tmp/*.parquet')
p = beam.Pipeline()

class PairWithFile(beam.DoFn):
    def __init__(self, filename):
        self._filename = filename

    def process(self, e):
        yield (self._filename, e)

file_with_records = [
    (p 
     | 'Read %s' % (file) >> beam.io.ReadFromParquet(file)
     | 'Pair %s' % (file) >> beam.ParDo(PairWithFile(file)))
    for file in filelist 
] | beam.Flatten()

然后你的 PCollection 看起来像这样：