為 Apache TinkerPop 的 Spark-Gremlin 指定工作池 - DataStax-Enterprise Graph-Analytics

Question

我需要指定一個特定的工作池來運行 gremlin olap 查詢。 當我使用 gremlin 控制台或 datastax studio 運行 gremlin olap 查詢時，它在默認池下運行（這不是我想要的）。 我想在特定的工作池下運行 gremlin olap 查詢，例如 gremlin_olap 或者能夠指定 memory 和執行程序。 我在 dse.yaml（在位置資源/dse/conf）和 olap.properties（在位置資源/graph/conf）中嘗試了一些設置，我重新啟動集群仍然無法強制使用 gremlin_olap 工作池.

olap.properties

spark.scheduler.pool=gremlin_olap
spark.executor.cores=2
spark.executor.memory=2g

dse.yaml

resource_manager_options:
    worker_options:
        cores_total: 0.7
        memory_total: 0.6

        workpools:
            - name: alwayson_sql
              cores: 0.25
              memory: 0.25
            - name: gremlin_olap
              cores: 0.25
              memory: 0.25

Gremlin 控制台bin/dse gremlin-console

         \,,,/
         (o o)
-----oOOo-(3)-oOOo-----
plugin activated: tinkerpop.server
plugin activated: tinkerpop.tinkergraph
gremlin> :remote config alias g identity.a
==>g=identity.a
gremlin> g.V().groupCount().by(label)
==>{identity=50000}
gremlin>

我錯過了什么嗎？

Answer 1

這些指示應該有助於：

https://docs.datastax.com/en/dse/6.8/dse-dev/datastax_enterprise/graph/graphAnalytics/graphAnalyticsSparkGraphComputer.html#SettingSparkpropertiesfromGremlin

這並不完全創建一個 Spark 資源池——但它確實會影響 Gremlin OLAP Spark 應用程序將使用的資源——它在 DSE Graph 中的工作方式是這些應用程序中只會有一個啟動，所以它與擁有 Spark 資源池的效果相同。