更新 apache-beam-dataflow 和 google-cloud-bigquery 的指南

Question

我想使用可用于 python 2.7 的最新 google-cloud-bigquery 和数据流 sdk

新旧版本的客户端 bigquery 代码发生了巨大变化，并且计划弃用旧版本。 基于以下出版物： https://cloud.google.com/bigquery/docs/python-client-migration

我的管道设置如下：

*from setuptools import setup, find_packages*
*setup(*
*  name='big-query',*
*  version='1.0.0',*
*  packages=find_packages(),*
*  keywords=[*
*  ],*
*  license="Apache Software License",*
*  install_requires=[*
*    'google-cloud-bigquery==0.28.0',*
*  ],*
*  package_data={*
*  },*
*  data_files=[],*
*)*

我从管道代码中调用它：

options.view_as(SetupOptions).setup_file = "./setup.py"

环境：数据流视图上的 SDK 版本显示 2.0.0 和弃用消息管道是在 Google Cloud 数据实验室环境上用 Python 2.7.0 编写的 安装更新 google-cloud-bigquery 失败

我的问题是： 1. 如何更新数据流 SDK？ setup.py 文件？ 更新数据实验室？ 2. 我可以使用的最新版本的 google-cloud-bigquery 及其匹配的数据流是什么。

谢谢，埃拉兰

Answer 1

1. 如何更新数据流 SDK？ setup.py 文件？ 更新数据实验室？

Dataflow SDK is now being deprecated but you can install the Apache Beam SDK since it is fully supported by Dataflow and previous Apache Beam SDK since 2.0.0. 以下是谷歌在这方面的官方公告：

Cloud Dataflow SDK Deprecation Notice: The Cloud Dataflow SDK 2.5.0 is the last Cloud Dataflow SDK release that is separate from the Apache Beam SDK releases.
The Cloud Dataflow service fully supports official Apache Beam SDK releases. The Cloud Dataflow service also supports previously released Apache Beam SDKs starting with version 2.0.0 and above.

数据流 SDK 可以通过pip升级：

pip install --upgrade apache-beam[gcp]

每当您需要在环境中指定依赖项的版本时，您都可以检查setup.py语法。

2. 我可以使用的最新版本的 google-cloud-bigquery 及其匹配的数据流是什么。

某些库不向前兼容，您可以使用这些SDK vs worker 依赖项兼容性列表供参考。 正如您在列表中看到的，已在工作人员上安装并完全支持您的配置的最后一个 google-cloud-bigquery 版本是 1.17.0，但请记住 Python 2.x、任何相关的 SDK 和库版本将是2020 年 1 月 1 日起不再支持。