如何在 airflow DAG 中的 secondary_worker_config 中創建 SPOT VM 以使用谷歌雲數據處理運營商？

Question

在 UI 中，您可以 select Preemptibility as Spot in the Secondary worker nodes 來創建類似的東西：

以下是我的 JSON：

    "secondary_worker_config": {
        "num_instances": 5,
        "machine_type_uri": SOME_MACHINE_TYPE,
        "disk_config": {"boot_disk_type": "pd-standard", "boot_disk_size_gb": 1024},
        "image_uri" : SOME_IMAGE_URI
    }

SPOT VM 的鍵值對是什么？

我試圖查看以下文件，但沒有找到任何內容：

https://airflow.apache.org/docs/apache-airflow-providers-google/stable/operators/cloud/dataproc.html

https://cloud.google.com/compute/docs/instances/create-use-spot#gcloud

Answer 1

你可以試試這個：

"secondaryWorkerConfig": {
      "numInstances": 5,
      "preemptibility": "SPOT" // the default is standard preemptible, and you can provide "NON_PREEMPTIBLE" to create non-preemptible secondry workers
    }

這是文檔。