[英]How to run script as pytest test
假設我有一個測試表示為帶有assert
-statements 的簡單腳本(請參閱背景以了解原因),例如
import foo
assert foo(3) == 4
我如何將這個腳本包含在我的 pytest 測試套件中——以一種很好的方式?
我嘗試了兩種有效但不太好的方法:
一種方法是將腳本命名為測試,但這會使整個 pytest 發現在測試失敗時失敗。
我目前的方法是從測試函數中導入腳本:
def test_notebooks():
notebook_folder = Path(__file__).parent / 'notebooks'
for notebook in notebook_folder.glob('*.py'):
import_module(f'{notebook_folder.name}.{notebook.stem}')
這是有效的,但腳本不會單獨報告,並且測試失敗有一個長而蜿蜒的堆棧跟蹤:
__________________________________________________ test_notebooks ___________________________________________________
def test_notebooks():
notebook_folder = Path(__file__).parent / 'notebooks'
for notebook in notebook_folder.glob('*.py'):
> import_module(f'{notebook_folder.name}.{notebook.stem}')
test_notebooks.py:7:
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
envs\anaconda\lib\importlib\__init__.py:127: in import_module
return _bootstrap._gcd_import(name[level:], package, level)
<frozen importlib._bootstrap>:1006: in _gcd_import
... (9 lines removed)...
<frozen importlib._bootstrap>:219: in _call_with_frames_removed
???
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
> assert False
E AssertionError
notebooks\notebook_2.py:1: AssertionError
我在腳本文件中進行測試的原因是它們實際上是 Jupyter 筆記本,由優秀的jupytext插件保存為帶有標記的.py
文件。
這些筆記本被轉換為 html 文件,可以交互使用來學習系統,並作為廉價的功能測試。
從測試函數調用腳本沒有任何問題,因此您的方法非常好。 但是,我會使用參數化而不是在 for 循環中運行腳本; 這樣你就可以很好地為每個腳本執行一次測試。 如果你不喜歡長的回溯,你可以在自定義的pytest_exception_interact
hookimpl 中剪切它們。 例子:
# conftest.py
def pytest_exception_interact(node, call, report):
excinfo = call.excinfo
if 'script' in node.funcargs:
excinfo.traceback = excinfo.traceback.cut(path=node.funcargs['script'])
report.longrepr = node.repr_failure(excinfo)
參數化測試:
# test_spam.py
import pathlib
import runpy
import pytest
scripts = pathlib.Path(__file__, '..', 'scripts').resolve().glob('*.py')
@pytest.mark.parametrize('script', scripts)
def test_script_execution(script):
runpy.run_path(script)
測試執行收益(為了測試,我創建了簡單的腳本,其中包含諸如assert False
或1 / 0
類的單行:
$ pytest -v
======================================= test session starts ========================================
platform linux -- Python 3.6.8, pytest-4.6.3, py-1.8.0, pluggy-0.12.0 -- /home/hoefling/projects/.venvs/stackoverflow/bin/python3.6
cachedir: .pytest_cache
rootdir: /home/hoefling/projects/private/stackoverflow/so-56807698
plugins: mock-1.10.4, cov-2.7.1, forked-1.0.2, xdist-1.28.0, django-3.4.8
collected 3 items
test_spam.py::test_script_execution[script0] PASSED
test_spam.py::test_script_execution[script1] FAILED
test_spam.py::test_script_execution[script2] FAILED
============================================= FAILURES =============================================
____________________________________ test_script_runpy[script1] ____________________________________
> assert False
E AssertionError
scripts/script_3.py:1: AssertionError
____________________________________ test_script_runpy[script2] ____________________________________
> 1 / 0
E ZeroDivisionError: division by zero
scripts/script_2.py:1: ZeroDivisionError
================================ 2 failed, 1 passed in 0.07 seconds ================================
如果你不喜歡上面的解決方案,我能想到的另一件事是實現你自己的測試收集和執行協議。 例子:
# conftest.py
import pathlib
import runpy
import pytest
def pytest_collect_file(parent, path):
p = pathlib.Path(str(path))
if p.suffix == '.py' and p.parent.name == 'scripts':
return Script(path, parent)
class Script(pytest.File):
def collect(self):
yield ScriptItem(self.name, self)
class ScriptItem(pytest.Item):
def runtest(self):
runpy.run_path(self.fspath)
def repr_failure(self, excinfo):
excinfo.traceback = excinfo.traceback.cut(path=self.fspath)
return super().repr_failure(excinfo)
這將收集scripts
目錄中的每個.py
文件,將每個腳本包裝在一個測試用例中,並在測試執行時調用runpy
。 執行日志看起來幾乎相同,只是測試命名不同。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.