自定義Google數據流選項

Question

由於預期的流量非常小，因此需要使用最少資源的數據流。 所需的值為：1個vCPU ，1 GB Memory和30 GB Storage - Standard Persistent Disk 。

一個人如何創建這樣的數據流？ 我到目前為止有以下內容：

    DataflowPipelineOptions options = PipelineOptionsFactory.as(DataflowPipelineOptions.class);
    options.setProject("project-id");
    options.setRunner(DataflowRunner.class);
    //Begin: Autoscalling --disable
    options.setAutoscalingAlgorithm(DataflowPipelineWorkerPoolOptions.AutoscalingAlgorithmType.NONE);
    options.setNumWorkers(1);
    //End: Autoscalling
    options.setStreaming(true);
    options.setAppName("");
    options.setMaxNumWorkers(1);

在數據流選項中，哪里可以指定vCPU ， Memory和Storage - Standard Persistent Disk等資源？

更新

我是GCP新手，任何批評都可以接受

Answer 1

從Javadocs

setDiskSizeGb

遠程工作磁盤大小（以千兆字節為單位），或0以使用默認大小。

還有...

setWorkerMachineType

用於創建Dataflow Worker VM的機器類型。

有關有效選項的列表，請參見GCE機器類型 。

如果未設置，則Dataflow服務將選擇一個合理的默認值。

此處列出了允許的機器類型，根據您的需要（“ 1vCPU，1GB內存”），這是最接近的匹配項： n1-standard-1 。

因此，如果在DataflowPipelineOptions上調用以下方法，則...

options.setDiskSizeGb(30);
options.setWorkerMachineType("n1-standard-1");

...那么您的數據流工作者將在具有1個CPU和3.75GB內存的VM上運行，並且他們將使用30GB的存儲磁盤。