無法找到 DataprocCreateClusterOperator 配置：Dataproc Metastore

Question

一直在尋找 JSON 格式的集群配置以創建具有 Dataproc Metastore 服務和 Spark-BQ 依賴項 jars 的 dataproc 集群（GCE），找不到任何指定如何使用這些 JSON 配置的參考文檔。

我查看了以下鏈接： https://airflow.apache.org/docs/apache-airflow/1.10.6/_api/airflow/contrib/operators/dataproc_operator/index.html https://cloud.google.com/ dataproc/docs/reference/rest/v1/projects.regions.clusters https://cloud.google.com/dataproc/docs/reference/rest/v1/MetastoreConfig

但它沒有指定 GCE 集群配置，它的 REST API 和 GKE 集群配置請查看下面我正在嘗試創建數據處理集群的配置：

CLUSTER_CONFIG = {
    "gce_cluster_config": {
        "internal_ip_only": True,
        "metadata": {
            "spark-bigquery-connector-version": spark_bq_connector_version
        },
        "service_account_scopes": [
            service_account_scopes
        ],
        "subnetwork_uri": subnetwork_uri,
        "zone_uri": zone_uri
    },
    "initialization_actions": [
        {
            "executable_file": initialization_actions,
            "execution_timeout": execution_timeout
        }
    ],
    "master_config": {
        "disk_config": {
            "boot_disk_size_gb": master_boot_disk_size_gb
        },
        "machine_type_uri": master_machine_type_uri
    },
    "metastore_config": {
        "dataproc_metastore_service": dataproc_metastore
    },
    "software_config": {
        "image_version": software_image_version
    },
    "worker_config": {
        "disk_config": {
            "boot_disk_size_gb": worker_boot_disk_size_gb
        },
        "machine_type_uri": worker_machine_type_uri,
        "num_instances": worker_num_instances
    }
}

任何領導將不勝感激，請附上鏈接以參考完整的配置示例

謝謝 ！

Answer 1

如本文檔中所述，需要通過hive:hive.metastore.uris屬性指定外部 Hive 元存儲（非Dataproc Metastore 服務）。 請注意hive:前綴。

使用 gcloud 創建集群時，如果添加--log-http ：

$ gcloud dataproc clusters create ... \
    --properties hive:hive.metastore.uris=thrift://my-metastore:9083 \
    --log-http

它會顯示實際的 HTTP 請求：

{
   "clusterName":"...",
   "config":{
      "endpointConfig":{
         "enableHttpPortAccess":true
      },
      "gceClusterConfig":{
         "internalIpOnly":false,
         "serviceAccountScopes":[
            "https://www.googleapis.com/auth/cloud-platform"
         ],
         "zoneUri":"us-west1-a"
      },
      "masterConfig":{
         "diskConfig":{
            
         },
         "machineTypeUri":"e2-standard-2"
      },
      "softwareConfig":{
         "imageVersion":"1.5",
         "properties":{
            "hive:hive.metastore.uris":"thrift://my-metastore:9083"
         }
      },
      "workerConfig":{
         "diskConfig":{
            
         },
         "machineTypeUri":"e2-standard-2"
      }
   },
   "projectId":"..."
}

您還可以在Dataproc REST API 文檔中找到請求規范。