在数据流中创建新的BigQuery数据集

Question

如何在Dataflow中创建新的BigQuery数据集以保存数据？

我希望使用数据流程序中的version标记对数据集名称进行版本控制。

我正在使用python API，并尝试使用BigQuery客户端在beam.io.BigQuerySink之外进行此beam.io.BigQuerySink但是在gcp上运行流时出现以下错误： ImportError: No module named cloud引用大查询导入from google.cloud import bigquery 。

最好的方法是什么？

Answer 1

在接收器外部使用BigQuery客户端，您的做法正确。 它看起来应该像这样：

[..]
from google.cloud import bigquery
client = bigquery.Client(project='PROJECT_ID')
dataset = client.dataset(DATASET_NAME)
dataset.create()
[..] 

您必须记住，尽管这在本地运行管道时可能会起作用，但是在GCP上远程运行工作池时在工作池中启动的VM的依赖性与本地计算机的依赖性不同。

所以，你需要通过以下介绍的步骤远程安装依赖关系在这里 ：

1. 找出您已在计算机上安装了哪些软件包。 运行以下命令： pip freeze > requirements.txt 。 这将创建一个requirements.txt文件，其中列出了计算机上已安装的所有软件包，无论它们来自何处（即从何处安装）。
2. 在requirements.txt文件中，仅保留从PyPI安装并在工作流源中使用的软件包。 删除与代码无关的其余软件包。
3. 使用以下命令行选项运行管道：-- --requirements_file requirements.txt 。 这会将requests.txt文件登台到您定义的登台位置。