如何在 Dataproc 中配置 Druid？

Question

现在 Druid 已成为 Google Cloud Dataproc ( https://cloud.google.com/dataproc/docs/concepts/components/druid ) 的可选组件，我想知道如何从 Dataproc 集群创建中执行 Druid 配置？ 我尝试了以下 gcloud 命令：

%gcloud dataproc clusters create test1 --region=us-east1 --zone=us-east1-b -- 
num-masters=1 --num-workers=2 --optional-components=ZOOKEEPER,DRUID -- 
properties=druid:druid.storage.type=google,...

但它返回一个错误：

属性“druid:druid.storage.type”有一个不受支持的前缀

显然druid不是一个有效的前缀。 那么如何在 Dataproc 中配置 Druid 呢？

谢谢。

Answer 1

Druid 仍处于 alpha 阶段，不支持 Deep Storage 或 Metadata 存储配置。 仅支持 JVM 属性和 Druid 的组件（Broker、历史等）运行时属性。

这也意味着仅支持 HDFS 作为深度存储，MySql 作为元数据存储。

Answer 2

要配置 Druid，您可以在使用 Druid 创建 Dataproc 集群时使用下一个集群属性前缀：

druid-broker:<property-name>=<value>
druid-broker-jvm:<property-name>=<value>
druid-broker-runtime:<property-name>=<value>
druid-coordinator:<property-name>=<value>
druid-historical:<property-name>=<value>
druid-historical-jvm:<property-name>=<value>
druid-historical-runtime:<property-name>=<value>
druid-middleManager:<property-name>=<value>
druid-overlord:<property-name>=<value>
druid-router:<property-name>=<value>