从BigQuery读取数据并将其写入云存储中的avro文件格式

Question

我的目标是从BigQuery表中读取数据，然后使用Java将其写入云存储中的Avro文件中。 如果有人提供代码snipet / ideas来编写BigQuery表数据并将其使用Cloud Dataflow写入avro格式数据，那将是很好的。

Answer 1

可以一次性将数据从BigQuery导出为Avro格式的BigQuery到GCS，这可以通过包括Java在内的客户端库来完成。 以下是一些代码片段（完整的示例可以在GitHub上找到），对于Java，您可以编写代码：

Job job = table.extract(format, gcsUrl);
// Wait for the job to complete
try {
  Job completedJob =
      job.waitFor(
          RetryOption.initialRetryDelay(Duration.ofSeconds(1)),
          RetryOption.totalTimeout(Duration.ofMinutes(3)));
  if (completedJob != null && completedJob.getStatus().getError() == null) {
    // Job completed successfully
  } else {
    // Handle error case
  }
} catch (InterruptedException e) {
  // Handle interrupted wait
}

格式变量可以是CSV，JSON或AVRO，并且gcsUtl变量应包含存储桶和文件路径，例如gs：// my_bucket / filename