在使用 firebase 存储的 GCP 中运行 python 脚本

Question

我有一个应用程序将所有数据（图像和视频）存储在 Firebase 存储中。 我必须对其进行一些图像处理，并且想知道是否有一个 GCP 平台能够运行 python 脚本，该脚本使用 Firebase 存储而无需下载文件（到运行脚本的服务器）。

换句话说，一个平台可以在一台服务器上运行脚本，同时使用来自不同服务器的文件。

注意-我现在使用 pyrebase 为 Firebase API

Answer 1

要回答您的第一个问题，如果您使用 google-cloud-storage package，则可以使用 Python 处理 Firebase 存储中的文件。可以在此处找到文档。 代码仍然在后台下载文件，但是，您不需要实际将文件复制到脚本运行的位置。

回答你的主要问题：你在哪里可以运行这个 Python 脚本？ Google Cloud Platform 中有多个无服务器选项，您可以在其中运行 Python 脚本，而不必担心底层基础设施。

可以使用：

• 云端功能
• 云跑
• 应用引擎

这取决于您希望此工作负载运行的频率以及文件的大小。 Cloud Functions 非常容易使用，你可以安排一个云 function 在特定时间运行。 您还可以选择在文件到达 Google Cloud Storage 时触发 Cloud Function，这在某些情况下非常强大。 但是，Cloud Functions 的限制是 2GB 和 900 秒的运行时间。 如果你想以某种方式 go 超过这些限制，因为文件非常大或处理持续时间超过 9 分钟，你可以选择 Cloud Run 甚至 App Engine。 它们提供较长的运行时间和更高的内存/CPU 限制。

如果需要更多处理能力，无服务器可能不是您的最佳选择。 那么你可以选择Dataproc或Dataflow，它们都可以处理“大数据”。