繁体 English 中英

在GCP上将更多工作人员添加到数据流工作

[英]Add more workers to dataflow job on GCP

原文 2018-09-03 21:20:41 0 1 google-cloud-platform/ google-cloud-dataflow/ google-cloud-dataprep

我创建了一个将CSV导入BQ的dataprep流。 这可以正常工作，但是需要太长时间。 即使是很小的文件。 有办法增加更多的工作工人吗？ 默认情况下，maxNumWorkers始终为1。

克里斯

1 个解决方案

Dataprep第一次执行Dataflow作业时，这些设置将是默认设置。 但是，您可以使用Dataflow 模板直接从Dataflow使用不同的参数重新运行这些作业。 例如，您可以使用REST API，并使用numWorkers字段来指定要执行作业的工作程序，因为未指定该工作，该服务将尝试选择一个合理的默认值。 有关REST API的更多信息，您可以阅读本文档。

请记住，它有局限性

GCP 数据流批处理作业 - 防止工作人员在批处理作业中一次运行多个元素

[英]GCP Dataflow Batch jobs - Preventing workers from running more than one element at a time in a batch job

如何使用API在GCP数据流中检索当前的工作人数

[英]How to retrieve current workers count for job in GCP dataflow using API

GCP数据流作业被卡住了

[英]GCP Dataflow job is stuck

GCP 数据流作业部署

[英]GCP Dataflow Job Deployment

暂存文件下载到 GCP Dataflow Worker 的什么位置

[英]Where are Staged files downloaded to on GCP Dataflow Workers

如何在GCP中登录/ SSH到Dataflow VM Worker？

[英]How to login/ssh into Dataflow VM workers in GCP?

GCP Dataflow作业位于“未开始”状态

[英]GCP Dataflow job sitting in “not started”

在数据流工作中未达到目标工作人员的后果是什么？

[英]What are the consequences of not reaching target workers in a dataflow job?

GCP Dataflow 计算图和作业执行

[英]GCP Dataflow Computation Graph and Job Execution

GCP 数据流提取 JOB_ID

[英]GCP Dataflow extract JOB_ID

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 GCP 数据流批处理作业 - 防止工作人员在批处理作业中一次运行多个元素如何使用API在GCP数据流中检索当前的工作人数 GCP数据流作业被卡住了 GCP 数据流作业部署暂存文件下载到 GCP Dataflow Worker 的什么位置如何在GCP中登录/ SSH到Dataflow VM Worker？ GCP Dataflow作业位于“未开始”状态在数据流工作中未达到目标工作人员的后果是什么？ GCP Dataflow 计算图和作业执行 GCP 数据流提取 JOB_ID

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM