Databricks API - 實例池 - 如何在啟用光子的情況下創建？

Question

我正在嘗試使用數據塊 api 創建一個實例池，我需要啟用光子，在文檔中我找不到啟用它的參數，有人知道該怎么做嗎？

我使用了這個文檔， https://docs.databricks.com/dev-tools/api/latest/instance-pools.html#create

這是我的有效載荷

payload = {
        "instance_pool_name": f"DRIVER - {instance_type}",
        "node_type_id": instance_type,
        "idle_instance_autotermination_minutes": 4,
        "enable_elastic_disk": True,
        "max_capacity": 300,
        "min_idle_instances":0,
        "preloaded_spark_versions": ["12.0.x-scala2.12"],
        
        # RUNTINME PHOTON TESTS
        "preloaded_runtime_engine": "PHOTON",
        "runtime_engine": "PHOTON",
        
        "aws_attributes":{
            "availability":"SPOT",
            "zone_id": "us-east-1a",
            "spot_bid_price_percent": 100
       },

   "custom_tags":[
     {...}
   ]
}

我嘗試添加集群創建選項，但運行時引擎和預加載參數都不起作用

        "preloaded_runtime_engine": "PHOTON",
        "runtime_engine": "PHOTON",

Answer 1

它不是一個單獨的參數，有專用的 Photon 運行時，如11.3.x-photon-scala2.12 。 您可以通過使用 UI 使用 Photon 運行時創建實例池並通過 API 查詢其定義來獲取名稱。

您還可以使用運行時版本API 端點列出所有可用的運行時：

$ curl "$DATABRICKS_API/clusters/spark-versions" | jq -r '.versions[] | .key' | grep photon | sort
10.4.x-photon-scala2.12
11.1.x-photon-scala2.12
11.2.x-photon-scala2.12
11.3.x-photon-scala2.12
12.0.x-photon-scala2.12
12.1.x-photon-scala2.12
9.1.x-photon-scala2.12