通过本地DataFlow作业写入BigQuery

Question

我在计算机上本地设置了DataFlow管道。 它需要一个装满JSON对象的示例新行分隔文件，执行此操作，并在TableRow格式化最终结果。 是时候写BigQuery了，我不知道如何进行身份验证。 在Dataflow的文档或示例中，我找不到任何使用本地管道写入BigQuery的示例。 如果可能的话，我想知道如何去做。 在我看来应该是这样的：

...
session_windowed_items.apply(ParDo.of(new FormatAsTableRowFn()))
      .apply(BigQueryIO.Write
      .withCredentials/Token(SOME_TOKEN)  // <- This line
      .withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER)
      .to("project:db.table"));
...

要么

...
PipelineOptions options = PipelineOptionsFactory.create();
options.setGoogleCloudCredentials/Token(SOME_TOKEN)  // <- This line
Pipeline p = Pipeline.create(options);
...

Answer 1

您的第二种方法是正确的。 它看起来像这样：

GcpOptions gcpOptions = options.as(GcpOptions.class);
gcpOptions.setGcpCredential(...);
gcpOptions.setProject(...);
// etc

options.as(SomeSpecificOptions.class)的成语值得记住。

您将需要阅读GcpOptions以查看可用的方法。