使用 Joblib 并行化将 python 脚本提交到 Sun Grid Engine

Question

我有一个 python 脚本，它使用带有loky后端的joblib模块进行并行化，并且n_jobs设置为12 。 我想知道我应该如何使用qsub命令将其提交给太阳网格引擎。

我有这样的事情：

qsub -q all.q     \
     -l h_vmem=14G \
     -V             \
     -N              \
     -pe all.pe       \
      12               \
      script.py

对于带有joblib模块的 python 脚本，这会按预期工作吗？

Answer 1

问： “对于带有joblib模块的 python 脚本，这会按预期工作吗？”

这取决于人们对“按预期”条款的期望，不是吗？

如上所述，Python 解释器肯定会实例化12 n_jobs控制数量的自我“复制”进程实例（在loky实施时执行），因为它被指示这样做。

然而， qsub已要求 SGE/SoGE/*GE 预先配置 GE，以便运行接下来的12并行环境实例（即完全独立运行12 python 进程，每个进程有14 [GB] RAM分配要求~ 168 [GB] RAM - 所以希望你至少有这么多的物理 RAM 资源，否则就会开始讨厌的交换抖动，这会对人们对joblib （以后才会出现）技巧的任何期望产生毁灭性的不利影响。

每一个这样的 Python 进程，在它自己的 SGE/SoGE PARALLEL_ENVIRONMENT中稍后将启动它自己的12 loky joblib -dictated n_jobs ，总共有144个。 他们的工作负载的性质将决定这些是否“浪费”、是否受磁盘 I/O 限制、“性能不佳”、CPU/RAM 流量的总和是否已经进入物理 RAM-I/O-如果资源和需求在整个计算图的运行过程中遵循 Lege Artis 平衡，则限制上限或“智能”（我的帽子确实会受到尊重）。

最好的下一步：

与您的 SGE/SoGE 技术支持部门一起修改配置，最好在主要作业提交之前使用预测试运行，并添加-v "Verifier"：

######################################################
#               this-JOB-SUBMISSION-CONFIGURATION-file
######################################################
# Usage:
#
#        gsub @<this-JOB-SUBMISSION-CONFIGURATION-file>
#
# Remarks:
#
#        qsub -q all.q     \      ### -q  define-LIST-OF-QUEUES 2B used 4scheduling this JOB
#             -l h_vmem=14G \     ### -l  define-RESOURCES
#             -V             \    ### -V  export-ALL-ENVIRONMENT-VARS to the job-CONTEXT
#             -N              \   ### -N  qsub-JOB-NAME ? a missing value :: rather test with adding -v qsub-JOB-SUBMISSION-VERIFIER
#             -pe all.pe 12    \  ### -pe instantiate-PARALLEL-ENVIRONMENTS <pe_name> <pe_min>[-][ <pe_max> ]
#              script.py          ###     <command> [ <command_parameters> [...]]