[英]How to run a Notebook on dataproc using composer
我在dataproc上有一个 Jupyter notebook，它正在使用 dataproc 进行处理。 我还将此笔记本存储在 gcs 上的“gc:/bucket/...”位置。
我想创建一个 Composer 工作流来在我现有的 dataproc 集群上运行这个笔记本。 这在 GCP 中可能吗？
您无法在 Dataproc 中以编程方式运行 Jupyter 笔记本。 您可以采用的一种方法是从笔记本中提取代码，然后将其作为集群中的作业从 Composer 提交，例如，使用DataprocPySparkOperator 。
如何使用 Python 创建具有生存时间的 Dataproc 集群 SDK
[英]How to create a Dataproc cluster with time to live using Python SDK
GCP| Composer Dataproc 提交作业| 未找到身份验证凭据
[英]GCP| Composer Dataproc submit job| Auth credential not found
如果我使用 Dataproc，它如何处理从 Apache Hadoop 和 Spark 到 Dataproc 的实时流数据？
[英]If I use Dataproc, how does it process real-time streaming data from Apache Hadoop and Spark to Dataproc?
使用 rest api 从 dataproc 获取控制台作业 output 文本
[英]Get console job output text from dataproc using rest api
如何使用 gcloud 创建新的 VertexAI Workbench Managed Notebook
[英]How to create a new VertexAI Workbench Managed Notebook using gcloud
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
