将 AWS 凭证传递给 Google Cloud Dataflow，Python

Question

我在 Google Cloud Platform 上的 Python 中使用 Google Cloud Dataflow 实现。 我的想法是使用来自 AWS S3 的输入。

Google Cloud Dataflow（基于 Apache Beam）支持从 S3 读取文件。 但是，我在文档中找不到将凭证传递给工作的最佳可能性。 我尝试将AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY添加到setup.py文件中的环境变量。 但是，它在本地工作，但是当我将 package Cloud Dataflow 作业作为模板并触发它在 GCP 上运行时，它有时工作，有时不工作，引发“NoCredentialsError”异常并导致工作失败。

是否有任何一致的最佳实践解决方案可以将 AWS 凭证传递给 GCP 上的 Python Google Cloud Dataflow 作业？

Answer 1

最后添加了配置此选项的选项。 它们在 2.26.0 之后的 Beam 版本中可用。

管道选项是--s3_access_key_id和--s3_secret_access_key 。

---

不幸的是，Beam 2.25.0 和更早的版本没有这样做的好方法，除了以下：

在此线程中，用户在他们在管道中提供给 Dataflow 的setup.py文件中弄清楚了如何执行此操作。