[英]Is it possible to run a custom python script in Apache beam or google cloud dataflow
我想使用 GCP 运行我的 python 脚本之一。 我对 GCP 还很陌生，所以我不太了解。
我的 python 脚本从 BigQuery 抓取数据并执行这些任务
几种数据处理操作
使用 KDTree 和少量聚类算法构建 ML model
将最终结果转储到 Big Query 表。
该脚本需要每晚运行。
到目前为止，我知道我可以使用虚拟机、Cloud Run、Cloud function（对我来说不是一个好选择，因为完成所有事情大约需要一个小时）。 什么应该是我运行这个的最佳选择？
我遇到了 Dataflow，但我很想知道是否可以运行自定义 python 脚本，该脚本可以在谷歌云数据流中执行所有这些操作（假设我必须将所有内容转换为 map-reduce 格式，这似乎并不容易我的代码，尤其是 ML 部分）？
您是否只需要一个 python 脚本在单个实例上运行几个小时然后终止？
您可以在 GCP 项目中设置“基本扩展”应用引擎微服务。 使用“基本缩放”时，任务队列任务的最长运行时间为 24 小时。
请求最多可以运行 24 小时。 基本扩展的实例可以选择处理 /_ah/start 并执行程序或脚本数小时而不返回 HTTP 响应代码。 任务队列任务最长可以运行 24 小时。
https://cloud.google.com/appengine/docs/standard/python/how-instances-are-managed
如何在Google Cloud Dataflow / Apache Beam中并行运行多个WriteToBigQuery？
[英]How to run multiple WriteToBigQuery parallel in google cloud dataflow / apache beam?
使用 Apache Beam python 创建谷歌云数据流模板时出现 RuntimeValueProviderError
[英]RuntimeValueProviderError when creating a google cloud dataflow template with Apache Beam python
是否可以在云数据流谷歌云平台中使用 apache 光束执行存储过程 MySQL Azure？
[英]Is possible to execute Stored Procedure MySQL Azure using apache beam in cloud dataflow google cloud platform?
通过使用Google Cloud Dataflow中的Python SDK推断架构来读取和编写avro文件 - Apache Beam
[英]Read and write avro files by inferring schema using Python SDK in Google Cloud Dataflow - Apache Beam
什么是为Google Cloud Dataflow部署和管理Python SDK Apache Beam管道执行的便捷方法
[英]What is a convenient way to deploy and manage execution of a Python SDK Apache Beam pipeline for Google cloud Dataflow
在Python中从Apache Beam数据流连接到Google Cloud BigQuery时发生TypeError吗？
[英]TypeError when connecting to Google Cloud BigQuery from Apache Beam Dataflow in Python?
带有 Apache Beam 的 Google Cloud Dataflow 不显示日志
[英]Google Cloud Dataflow with Apache Beam does not display log
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
