满负荷使用 PySpark

Question

我在使用 Compute Engine 的 Google Dataproc 上有一个 Spark 集群。 该集群有 1 个具有 4 个内核和 16GB RAM 的主节点和 5 个具有 8 个内核和 32GB RAM 的 Worker 节点。

运行SparkConf().getAll()时，我得到以下结果：

[('spark.eventLog.enabled', 'true'),
 ('spark.dynamicAllocation.minExecutors', '1'),
 ('spark.driver.maxResultSize', '2048m'),
 ('spark.executor.memory', '12859m'),
 ('spark.yarn.am.memory', '640m'),
 ('spark.executor.cores', '4'),
 ('spark.eventLog.dir',
  'gs://dataproc-temp-europe-west1-907569830041-jsgvqmyn/0255e376-31c9-4b52-8e63-a4fe6188eba3/spark-job-history'),
 ('spark.executor.instances', '2'),
 ('spark.yarn.unmanagedAM.enabled', 'true'),
 ('spark.submit.deployMode', 'client'),
 ('spark.extraListeners',
  'com.google.cloud.spark.performance.DataprocMetricsListener'),
 ('spark.driver.memory', '4096m'),
 ('spark.sql.cbo.joinReorder.enabled', 'true'),
 ('spark.sql.autoBroadcastJoinThreshold', '96m'),
 ('spark.shuffle.service.enabled', 'true'),
 ('spark.metrics.namespace',
  'app_name:${spark.app.name}.app_id:${spark.app.id}'),
 ('spark.scheduler.mode', 'FAIR'),
 ('spark.yarn.historyServer.address', 'congenial-sturdy-bassoon-m:18080'),
 ('spark.sql.adaptive.enabled', 'true'),
 ('spark.yarn.jars', 'local:/usr/lib/spark/jars/*'),
 ('spark.scheduler.minRegisteredResourcesRatio', '0.0'),
 ('spark.hadoop.hive.execution.engine', 'mr'),
 ('spark.app.name', 'PySparkShell'),
 ('spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version', '2'),
 ('spark.dynamicAllocation.maxExecutors', '10000'),
 ('spark.ui.proxyBase', '/proxy/application_1663842742689_0013'),
 ('spark.master', 'yarn'),
 ('spark.ui.port', '0'),
 ('spark.sql.catalogImplementation', 'hive'),
 ('spark.rpc.message.maxSize', '512'),
 ('spark.executorEnv.OPENBLAS_NUM_THREADS', '1'),
 ('spark.submit.pyFiles', ''),
 ('spark.yarn.isPython', 'true'),
 ('spark.dynamicAllocation.enabled', 'true'),
 ('spark.ui.showConsoleProgress', 'true'),
 ('spark.history.fs.logDirectory',
  'gs://dataproc-temp-europe-west1-907569830041-jsgvqmyn/0255e376-31c9-4b52-8e63-a4fe6188eba3/spark-job-history'),
 ('spark.sql.cbo.enabled', 'true')]

我不明白为什么当我有32g PER WORKER 时参数spark.executor.memory设置为12859m ， spark.executor.cores也是如此，当我的每个工人都有8个核心时设置为4 。

使用少量资源是否正常，或者我应该在启动我的 sparkSession 时设置它？ 我现在使用的代码是：

spark = SparkSession \
    .builder \
    .appName('my_app') \
    .getOrCreate()

我读了一些关于yarn.nodemanager.resource.memory-mb内容，但我不确定它是否适用于 PySpark 集群。

预先感谢您的帮助

编辑：为了添加更多上下文，我正在尝试从 Google Cloud Storage 读取 10M+ Json 文件，无论我尝试什么，我最终都会遇到来自 JVM 的 OOM 错误，有什么我可以专门设置来解决这类问题吗？

Answer 1

理想情况下，您可以在单个执行程序中使用多达 75% 到 80% 的资源。 假设您有一个 8 核和 16GB RAM 的执行程序 - 您可以使用大约 6 个核和 12GB RAM 来运行 spark（将剩余资源留给该 VM 或 pod 的其他操作，如 OS、mem alloc 等）。

This doc has details around how to size executors for spark - https://spoddutur.github.io/spark-notes/distribution_of_executors_cores_and_memory_for_spark_application.html#:~:text=Leave%201%20core%20per%20node, )%20%3D %20150%2F5%20%3D%2030

您可以在您的 spark 配置中使用这些参数 - --num-executors, --executor-cores and --executor-memory ，您可以使用您的 spark 作业并查看哪些配置和基础设施适合您的用例。