Apache Beam With GCP Dataflow 抛出 INVALID_ARGUMENT

Question

我一直在尝试将数据从一个 BigQuery 项目迁移到另一个 BigQuery 项目。 当我尝试对 20 个表执行它时，它工作正常。 但是，每当尝试添加更多表时，它就会崩溃：

报告作业状态失败，错误代码：INVALID_ARGUMENT

我的代码看起来像：

PCollection<TableRow> rows;
List<String> tablesNames = fetchTablesFromSourceBigQuery();
PipelineOptionsFactory.register(MyOptions.class);
MyOptions options = PipelineOptionsFactory.fromArgs(args).withValidation().as(MyOptions.class);
Pipeline p = Pipeline.create(options);
for(String tableName: tableNames){
   rows = p.apply("Reading from table",  BigQueryIO.readTableRows().from("sourceProject:sourceDataset."+tableName);
   rows.apply("Writing to table", BigQueryIO.writeTableRows().to("destProject:destDataset."+tableName);
}
p.run();

Answer 1

此问题是由于作业图太大引起的。

该问题可以通过在代码中包含标志--experiments=upload_graph来解决。

有关更多信息，可以参考此代码和堆栈链接。