读取 GCS blob，其中文件名来自 apache 光束中的先前 p 集合

Question

我正在尝试读取GCS parquet blob ，其中文件名来自 apache 光束中的前一个 p 集合。 代码示例如下。

pubsub = (p | "Read from Topic" >> ReadFromPubSub(topic=topic) 
            |"decode bytes" >>beam.Map(lambda element: element.decode('utf-8')) # b'"gs://beam-gcs/example.parquet"'
            | "Read from Parquet" >> **beam.io.?????** #"gs://beam-basics-gcs/example.parquet"
         )
ib.show(pubsub)

我想使用流式数据流作业，我期望通过pubsub 主题使用不同的文件名。 最后，在阅读了镶木地板后，我想摄取到bigquery

Answer 1

要读取文件名的 PCollection 的内容，可以使用ReadAllFromParquet 。

Answer 2

错误描述了beam.io.ReadFromParquet()需要一个指向 Parquet 文件集的文件模式，但没有提供。

Parquet 文件中记录的 PCollection 可以通过以下方式创建。

使用 beam.Pipeline() 作为 p：记录 = p | '读取' >> beam.io.ReadFromParquet('/mypath/mypqfiles*')

其中 /mypath/myparquetfiles* 是指向一组 Parquet 文件的文件模式。

请包括 Praquet 文件路径，您要从中读取并尝试重新运行数据流作业。

Reference: https://beam.apache.org/releases/pydoc/2.11.0/apache_beam.io.parquetio.html#apache_beam.io.parquetio.ReadFromParquet