Google Cloud Dataflow - 在管道选项中提供 sdk_location

Question

背景：

我有一个调用 google 数据流的 web 应用程序，最近想在管道选项中使用 sdk_location 参数。
我下载了 apache-beam sdk 并将其作为 tar.gz 文件上传到 gcs 存储桶。
然后我添加了 sdk_location={location of the.tar.gz file}

但是，当我现在进行数据流 API 调用时，我在工作程序启动日志中收到以下错误。
安装工人 package 失败。

其他人遇到过这个问题吗？
那是提供的正确 tarball 吗？

Answer 1

使用 Dataflow 时，您不必使用sdk_location选项，除非您对 Beam SDK 本身进行更改。

如果无法安装 worker package，请检查您是否缺少运行作业所需的依赖项。 例如，如果您使用的是 Python SDK： https://beam.apache.org/documentation/sdks/python-pipeline-dependencies/