自定义Google数据流选项

Question

由于预期的流量非常小，因此需要使用最少资源的数据流。 所需的值为：1个vCPU ，1 GB Memory和30 GB Storage - Standard Persistent Disk 。

一个人如何创建这样的数据流？ 我到目前为止有以下内容：

    DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
    options.setProject("project-id");
    options.setRunner(DataflowRunner.class);
    //Begin: Autoscalling --disable
    options.setAutoscalingAlgorithm(DataflowPipelineWorkerPoolOptions.AutoscalingAlgorithmType.NONE);
    options.setNumWorkers(1);
    //End: Autoscalling
    options.setStreaming(true);
    options.setAppName("");
    options.setMaxNumWorkers(1);

在数据流选项中，哪里可以指定vCPU ， Memory和Storage - Standard Persistent Disk等资源？

更新

我是GCP新手，任何批评都可以接受

Answer 1

从Javadocs

setDiskSizeGb

远程工作磁盘大小（以千兆字节为单位），或0以使用默认大小。

还有...

setWorkerMachineType

用于创建Dataflow Worker VM的机器类型。

有关有效选项的列表，请参见GCE机器类型 。

如果未设置，则Dataflow服务将选择一个合理的默认值。

此处列出了允许的机器类型，根据您的需要（“ 1vCPU，1GB内存”），这是最接近的匹配项： n1-standard-1 。

因此，如果在DataflowPipelineOptions上调用以下方法，则...

options.setDiskSizeGb(30);
options.setWorkerMachineType("n1-standard-1");

...那么您的数据流工作者将在具有1个CPU和3.75GB内存的VM上运行，并且他们将使用30GB的存储磁盘。