[英]How to run a Notebook on dataproc using composer
我在dataproc上有一個 Jupyter notebook，它正在使用 dataproc 進行處理。 我還將此筆記本存儲在 gcs 上的“gc:/bucket/...”位置。
我想創建一個 Composer 工作流來在我現有的 dataproc 集群上運行這個筆記本。 這在 GCP 中可能嗎？
您無法在 Dataproc 中以編程方式運行 Jupyter 筆記本。 您可以采用的一種方法是從筆記本中提取代碼，然后將其作為集群中的作業從 Composer 提交，例如，使用DataprocPySparkOperator 。
如何使用 Python 創建具有生存時間的 Dataproc 集群 SDK
[英]How to create a Dataproc cluster with time to live using Python SDK
GCP| Composer Dataproc 提交作業| 未找到身份驗證憑據
[英]GCP| Composer Dataproc submit job| Auth credential not found
如果我使用 Dataproc，它如何處理從 Apache Hadoop 和 Spark 到 Dataproc 的實時流數據？
[英]If I use Dataproc, how does it process real-time streaming data from Apache Hadoop and Spark to Dataproc?
使用 rest api 從 dataproc 獲取控制台作業 output 文本
[英]Get console job output text from dataproc using rest api
如何使用 gcloud 創建新的 VertexAI Workbench Managed Notebook
[英]How to create a new VertexAI Workbench Managed Notebook using gcloud
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
