BigQuery 自动检测模式并创建表，以防 apache_beam 中的流作业

Question

我有一个 stream 的信息进来，想在 BigQuery 中记录它们，但问题是用户可以在开始 apache_beam 作业之前定义一个新的表名。 stream 中的架构也可以超时更改。

我想知道是否有人使用 Python SDK 实现了流式 apache_beam 作业的自动表创建和架构更改

Answer 1

I am much more familiar with the Beam Java SDK, but it sounds like you want is to define your BigQuery sink with dynamic destinations, which is a concept that exists in both Java and Python SDKs: https://beam.apache.org/文档/io/内置/google-bigquery/#using-dynamic-destinations

动态目标将允许您从消息本身中提取目标表的名称。 您需要create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED以允许创建表。 BigQuery 还具有SchemaUpdateOptions的概念（至少对于加载作业），您可以通过additional_bq_parameters关键字参数进行控制。

Answer 2

我希望它可以帮助

• 我需要 Java：

如果您使用Avro作为来自Pub Sub的输入数据，则可以从Avro模式推断出Bigquery模式。

如果要从Beam作业创建Bigquery表，则必须在BigqueryIO中设置此选项： create_disposition=beam.io.BigQueryDisposition.CREATE_IF_NEEDED

Dataflow的Java ：

https://cloud.google.com/architecture/streaming-avro-records-into-bigquery-using-dataflow

• 对于Python ：

Dict可以直接下沉到Bigquery ，而无需将当前元素转换为TableRow 。 对于Python中的TableSchema ，我没有找到与useBeamSchema方法等效的方法

BigQueryIO.<GenericRecord>write()
        .to(bigQueryTable)
        .useBeamSchema()
        .withWriteDisposition(WriteDisposition.WRITE_APPEND)
        .withCreateDisposition(CreateDisposition.CREATE_IF_NEEDED)
        .optimizedWrites());

但我认为可以从 Avro 模式自动推断出Beam Bigquery模式。

如果不是这种情况，也许您必须实现自己的从Avro模式到Beam Bigquery模式的转换器。

Beam在Java中提出了用于模式转换的实用方法： https://github.com/apache/beam/blob/master/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/ sdk/io/gcp/bigquery/BigQueryAvroUtils.java#L206

对于Python ，实用程序是从Bigquery到Avro ，但不是相反的

我还看到了这个主题： Converting from Avro schema to Google BigQuery schema in python?