如何使用 Apache 光束（Python）在 Bigquery 中将列从一个表连接到另一个数据流

Question

我有两个表存储在 Bigquery 中，并希望将一个表中的列连接到另一个表。 这需要使用 Apache Beam (Python) 来完成 Google 云平台中的数据流管道。 只是找不到使用 Apache Beam 的方法。 WriteToBigQuery 只追加行，这不是我需要的 - 需要从另一个表中添加列。 两个表使用相同的主键。 任何帮助将不胜感激。

Answer 1

您可以尝试以下代码段，通过 Dataflow 从 Bigquery 读取数据并连接 2 个表并将数据写入新的 Bigquery 表：-

    data_loading = (
        p1
        | 'ReadBQ' >> beam.io.Read(beam.io.BigQuerySource(query='''SELECT a.Coll1, b.Coll2 FROM `PROJ.dataset.table-a` as a, `PROJ.dataset.table-b` as b WHERE a.coll-join=b.coll-join; ''', use_standard_sql=True))
    )