pytest - 在所有其他測試之后重新運行失敗的測試

Question

在我的場景中，我有一個寫入文件的測試，以及一個（但可能更多）想要讀取該文件的測試。 我不能簡單地提取將該文件寫入函數/夾具，因為它涉及內部正在啟動其他二進制文件的其他一些夾具，以及寫入該文件的二進制文件。 所以我有一個夾具，可以檢查文件是否已經存在。

到目前為止我嘗試過的：

• 片狀和pytest-rerunfailures插件 - 不合適，因為它們都在失敗時立即重新運行測試（當文件仍然不存在時），我想將它附加到測試隊列的末尾。
• 手動修改測試隊列，如下所示：

...

request.session.items.append(request.node)
pytest.xfail("file not present yet")

這種工作，但僅當我在單跑步者上運行時（沒有xdist ，或通過傳遞-n0 cli arg 將其打開，在我的測試報告中，我看到如下內容：

test_load_file_before_save xfail
test_save_file PASSED        
test_load_file PASSED        
test_load_file_before_save PASSED    

使用 xdist 運行時，不會重復 xfailed 測試。 有誰知道如何進行？ 某種強制 xdist 刷新測試列表的方法？

Answer 1

您可以使用 pytest.cache 獲取測試運行狀態並將該測試附加到隊列中以防萬一。

if request.config.cache.get(request.node):
    request.session.items.append(request.node)
    pytest.xfail("file not present yet")

您還可以在 pytest 緩存中設置自定義值，以便在不同的運行中使用request.config.cache.set(data,val) 。

如果您正在編寫位於 test 目錄中的文件，則可以使用 pytest-xdist 的--looponfail開關。 它監視目錄並重新運行測試，直到測試通過。 來自文檔： distributed and subprocess testing: -f, --looponfail run tests in subprocess, wait for modified files and re-run failing test set until all pass.

可能有用的鏈接： Pytest-cache

作為一個友好的建議，如果您計划在並行線程中運行，我建議您使測試相互獨立。

Answer 2

安裝這個包：pytest-rerunfailures 使用這個命令：pip install pytest-rerunfailures

要重新運行所有測試失敗，請使用 --reruns 命令行選項以及您希望測試運行的最大次數：

$ pytest --reruns 5

失敗的夾具或 setup_class 也將重新執行。

要在重新運行之間添加延遲時間，請使用 --reruns-delay 命令行選項以及在啟動下一次測試重新運行之前您希望等待的秒數：

$ pytest --reruns 5 --reruns-delay 1