简体   繁体   English

Apache Beam-BigQueryIO读取投影

[英]Apache Beam - BigQueryIO read Projection

I have a Dataflow pipeline that reads from a BigQuery table. 我有一个从BigQuery表读取的数据流管道。 However, when reading the data, there is no other option than to read all records with the read(SerializableFunction) or the readTableRows() methods. 但是,在读取数据时,除了使用read(SerializableFunction)readTableRows()方法读取所有记录外,没有其他选择。 I was wondering, when using these methods, is there an option to provide a column-like projection (similar to the HBaseIO Scan addColumn() filter). 我想知道使用这些方法时,是否可以提供类似列的投影(类似于HBaseIO Scan addColumn()过滤器)。

I know that there is the option of performing a query when loading data from BigQuery (using the readTableRows().fromQuery() ), but I'm wondering if there is a similar option to do projection like possible in HBaseIO. 我知道从BigQuery加载数据时可以使用执行查询的选项(使用readTableRows()。fromQuery() ),但是我想知道是否有类似的选项可以像在HBaseIO中那样进行投影。

到目前为止,fromQuery()是唯一的选择,但是将来可能会改变。

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM