Databricks API - 实例池 - 如何在启用光子的情况下创建？

Question

我正在尝试使用数据块 api 创建一个实例池，我需要启用光子，在文档中我找不到启用它的参数，有人知道该怎么做吗？

我使用了这个文档， https://docs.databricks.com/dev-tools/api/latest/instance-pools.html#create

这是我的有效载荷

payload = {
        "instance_pool_name": f"DRIVER - {instance_type}",
        "node_type_id": instance_type,
        "idle_instance_autotermination_minutes": 4,
        "enable_elastic_disk": True,
        "max_capacity": 300,
        "min_idle_instances":0,
        "preloaded_spark_versions": ["12.0.x-scala2.12"],
        
        # RUNTINME PHOTON TESTS
        "preloaded_runtime_engine": "PHOTON",
        "runtime_engine": "PHOTON",
        
        "aws_attributes":{
            "availability":"SPOT",
            "zone_id": "us-east-1a",
            "spot_bid_price_percent": 100
       },

   "custom_tags":[
     {...}
   ]
}

我尝试添加集群创建选项，但运行时引擎和预加载参数都不起作用

        "preloaded_runtime_engine": "PHOTON",
        "runtime_engine": "PHOTON",

Answer 1

它不是一个单独的参数，有专用的 Photon 运行时，如11.3.x-photon-scala2.12 。 您可以通过使用 UI 使用 Photon 运行时创建实例池并通过 API 查询其定义来获取名称。

您还可以使用运行时版本API 端点列出所有可用的运行时：

$ curl "$DATABRICKS_API/clusters/spark-versions" | jq -r '.versions[] | .key' | grep photon | sort
10.4.x-photon-scala2.12
11.1.x-photon-scala2.12
11.2.x-photon-scala2.12
11.3.x-photon-scala2.12
12.0.x-photon-scala2.12
12.1.x-photon-scala2.12
9.1.x-photon-scala2.12