用BigQuery读取JSON文件来制作表格

Question

我是Google Dataflow的新手，无法使用JSON。 我一直在阅读整个文档，但无法解决我的问题。

因此，在WordCount示例之后，我想到了如何使用下一行从.csv文件加载数据

PCollection<String> input = p.apply(TextIO.Read.from(options.getInputFile()));

其中input.cile来自我的gcloud存储桶中的.csv文件。 我可以用.csv转换读取行：

PCollection<TableRow> table = input.apply(ParDo.of(new ExtractParametersFn()));

（提取我定义的ParametersFn）。 到现在为止还挺好！

---

但后来我意识到我的.csv文件太大了，不得不将其转换为JSON（ https://cloud.google.com/bigquery/preparing-data-for-bigquery ）。 由于BigQueryIO应该更适合阅读JSON，我尝试使用以下代码：

 PCollection<TableRow> table = p.apply(BigQueryIO.Read.from(options.getInputFile()));

（inputFile是JSON文件，使用BigQuery读取时的输出是使用TableRows的PCollection）我也尝试使用TextIO（它返回带有字符串的PCollection），两个IO选项都不起作用。

我错过了什么？ 文档真的不是那么详细，在那里找到答案，但也许你们中的一些人之前已经处理过这个问题了？

任何建议将非常感激。 :)

Answer 1

我相信有两种选择：

1. 使用带有TableRowJsonCoder的TextIO来摄取JSON文件（例如，就像在TopWikipediaSessions示例中一样 ）;
2. 将JSON文件导入bigquery表（ https://cloud.google.com/bigquery/loading-data-into-bigquery ），然后使用BigQueryIO.Read从表中读取。