在 Databricks 存储库中运行时，Pytest 不输出 junitxml

Question

我们有一个 Databricks 平台，其中启用了 repos 和 repos 中的文件。 因此，我们可以在存储库中有 .py 文件，这些文件可以由 Databricks 笔记本调用。

我们目前正在测试在 Databricks 集群上运行单元测试的可行性，而不是在我们的 Git / CI 环境中使用（PySpark）图像。

Databricks 中的回购看起来像

| - notebook
| - mycode.py
| - mycode_test.py

在这里， mycode.py包含一个对 Spark Dataframe 应用转换的函数。 文件mycode_test.py包含一个带有pytest的单元测试构建（以及一些用于创建测试数据和处理 Spark 会话/Spark 上下文的装置）。

我们从笔记本运行 pytest，而不是从命令行运行。 因此，Databricks 笔记本看起来像：

import pytest

retcode = pytest.main(['-k', 'mycode_test',
                       '-o', 'cache_dir=/dbfs/FileStore/',
                       '--junitxml', '/dbfs/FileStore/pytestreport.xml',
                       '-v'
                      ]
                     )

此代码片段在标准 Databricks 集群（安装了 runtime 10.4 LTS 和 pytest）上运行良好，单元测试的结果打印在单元格下方。

但是，没有输出存储在缓存目录或 junit xml 文件的指针中。

问题：

• 我们在这里遗漏了什么吗？
• 我们是否可以假设它实际上在未知位置生成了输出，因为pytest.main没有崩溃？
• Databricks 中的 .fuse-mounts 是否会导致这里出现问题？

Answer 1

在pytest.main命令中初始设置路径时，我似乎犯了一些错误。 我现在已经更新了这些路径并且它们可以工作。

因此，下面的代码片段在 databricks FileStore 中生成 XML 和缓存文件。

同样，这可能仅在您在启用了 repos 中的文件的 Databricks Repo 中工作时才有效。

import pytest

retcode = pytest.main(['-k', 'mycode_test',
                       '-o', 'cache_dir=/dbfs/FileStore/',
                       '--junitxml', '/dbfs/FileStore/pytestreport.xml',
                       '-v'
                      ]
                     )