即使将区域设置为 BigQuery 数据集的区域，Dataflow 作业也无法写入不同区域的 BigQuery 数据集

Question

我们正在编写一个 Dataflow 作业来将数据从存储桶中的JSON写入 BigQuery 数据集。 存储桶和 BigQuery 数据集都在区域X 。 但是，数据流端点在区域X不可用。 最近的区域是Y 。 因此，我已将 Dataflow 作业区域设置为Y ，但将区域设置为X 。 因此，所有计算实例都在区域X 。 但是，Dataflow 作业仍然失败并显示错误：

无法在不同位置读写：源：Y，目的地：X

临时位置和暂存位置存储桶都设置为区域 x。

使用的 Beam 版本是2.17 ，SDK 是Python SDK 。

我们正在创建一个数据流模板并运行它（DataflowRunner）。 该模板也在区域X 。

Answer 1

Dataflow 作业的暂存存储桶需要是多区域的，或者至少与它们写入的 BigQery 数据集位于同一区域。 您可以通过将数据托管在 Dataflow 作业运行的同一位置来解决此问题。

请注意，在读取或写入 BigQuery 时，Google Cloud Storage 存储桶用于暂存文件，基于此，作业失败，因为您的 Dataflow 暂存桶位置与 BigQuery 数据集位于不同的区域，这可能导致错误。

另一件事，请确保您已指定所有必需的管道选项。 我希望它有帮助。