有没有办法控制 pytest-xdist 如何并行运行测试？

Question

我有以下目录布局：

runner.py
lib/
tests/
      testsuite1/
                 testsuite1.py
      testsuite2/
                 testsuite2.py
      testsuite3/
                 testsuite3.py
      testsuite4/
                 testsuite4.py

testsuite*.py 模块的格式如下：

import pytest 
class testsomething:
      def setup_class(self):
          ''' do some setup '''
          # Do some setup stuff here      
      def teardown_class(self):
          '''' do some teardown'''
          # Do some teardown stuff here

      def test1(self):
          # Do some test1 related stuff

      def test2(self):
          # Do some test2 related stuff

      ....
      ....
      ....
      def test40(self):
          # Do some test40 related stuff

if __name__=='__main()__'
   pytest.main(args=[os.path.abspath(__file__)])

我的问题是我想并行执行“测试套件”，即我希望 testsuite1、testsuite2、testsuite3 和 testsuite4 开始并行执行，但测试套件中的各个测试需要串行执行。

当我使用 py.test 中的 'xdist' 插件并使用 'py.test -n 4' 开始测试时，py.test 正在收集所有测试并在 4 个工作人员之间随机负载平衡测试。 这导致每次在 'testsuitex.py' 模块中执行每个测试时都执行 'setup_class' 方法（这违背了我的目的。我希望 setup_class 每个类只执行一次，然后在那里连续执行测试）。

基本上我希望执行的样子是：

worker1: executes all tests in testsuite1.py serially
worker2: executes all tests in testsuite2.py serially
worker3: executes all tests in testsuite3.py serially
worker4: executes all tests in testsuite4.py serially

而worker1, worker2, worker3 and worker4都是并行执行的。

有没有办法在“pytest-xidst”框架中实现这一点？

我能想到的唯一选择是启动不同的进程以在 runner.py 中单独执行每个测试套件：

def test_execute_func(testsuite_path):
    subprocess.process('py.test %s' % testsuite_path)

if __name__=='__main__':
   #Gather all the testsuite names
   for each testsuite:
       multiprocessing.Process(test_execute_func,(testsuite_path,))

Answer 1

您可以使用--dist=loadscope对同一测试类中的所有测试进行分组。 这是pypi上pytest-xdist的文档

默认情况下， -n 选项会将挂起的测试发送给任何可用的工作人员，没有任何保证的顺序，但您可以使用以下选项进行控制：

--dist=loadscope ：测试将按测试功能的模块和测试方法的类进行分组，然后每个组将被发送到一个可用的工作人员，保证组中的所有测试在同一进程中运行。 如果您有昂贵的模块级或类级装置，这会很有用。 目前无法自定义分组，按类分组优先于按模块分组。 此功能是在 1.19 版中添加的。

--dist=loadfile ：测试将按文件名分组，然后将发送到可用的工作器，保证组中的所有测试在同一个工作器中运行。 此功能是在 1.21 版中添加的。

Answer 2

提供多种选择

是的，有这样的方法，每个 xdist 版本1.28.0的可用选项如下：

• --dist=each ：将所有测试发送到所有节点，因此每个测试都在每个节点上运行。
• --dist=load ：将收集到的测试分布在所有节点上，因此每个测试只运行一次。 所有节点收集并提交测试套件，当收到所有（测试套件的）集合时，验证它们是相同的集合。 然后集合被分成块，块被提交给节点执行。
• --dist=loadscope将收集到的测试分布在所有节点上，因此每个测试只运行一次。 所有节点收集并提交测试列表，当收到所有集合时，验证它们是相同的集合。 然后将集合分成工作单元，按测试范围分组，然后将这些工作单元提交给节点。
• --dist=loadfile将收集到的测试分布在所有节点上，因此每个测试只运行一次。 所有节点收集并提交测试列表，当收到所有集合时，验证它们是相同的集合。 然后将集合分成工作单元，按测试文件分组，然后将这些工作单元提交给节点。

如果您需要任何进一步的信息，我建议您直接进入调度程序的实际实现并检查分发是如何完成的。

Answer 3

使用 pytest-xdist 目前没有“每个文件”或“每个测试套件”的分布。 实际上，如果按文件分发（例如，文件中的测试一次最多只能由一个工作人员执行）已经对您的用例有所帮助，我鼓励您在https:/ /bitbucket.org/hpk42/pytest/issues?status=new&status=open并在此处链接回您的良好解释。

欢呼，霍尔格

Answer 4

在问题中的目录中有测试套件，您可以通过以下方式并行运行它们：

pytest -n=$(ls **/test*py | wc -l) --dist=loadfile

如果您的测试套件文件位于单个目录中，那么只需

pytest -n=$(ls test*py | wc -l) --dist=loadfile

如果出现新的套件文件，这将自动包含新的测试文件并为其添加额外的工作人员

Answer 5

pytest_mproc ( https://nak.github.io/pytest_mproc_docs/index.html ) 提供了一个“组”装饰器，允许您将测试组合在一起以串行执行。 与 xdist 相比，在处理大量内核时，它还具有更快的启动时间，并提供“全局”范围测试装置。

Answer 6

可能还值得注意的是，pytest-xdist github 上的这个问题解决了我认为您在这里询问的用例。

由于该问题尚未解决（尽管已在 2015 年开放），因此我只是针对我的特定案例修补了一个可行的解决方案。 在我的 conftest.py 中，我添加了这段代码：

import xdist.scheduler as xdist_scheduler
def _split_scope(self, nodeid):
    return nodeid.rsplit("[", 1)[-1]
xdist_scheduler.loadscope.LoadScopeScheduling._split_scope = _split_scope

它基本上只是覆盖 xdist 中的 _split_scope 函数以通过 nodeid 而不是文件类型来拆分组。 它对我有用，但我不能保证健壮性，因为我们正在修补一些正常的内部代码； 使用风险自负。