Android CTS-隨機測試失敗

Question

當我使用以下命令運行android CTS完整測試時

run cts --plan CTS

每次它對某些軟件包顯示不同的結果時，我的意思是某些軟件包每次重新運行完全測試時都會隨機通過/失敗。 但是，當我單獨運行程序包（某些測試失敗的程序包）時，所有測試都通過了。

為什么我看到這種行為？

環境：操作系統：Android L CTS版本：5.1_r7

Answer 1

有時某個測試會隨機失敗，這是因為一段時間未滿足測試條件，有時會因為超時測試而失敗。

Answer 2

某些cts測試涉及為某些事件發生設置的特定超時。 例如，如果您正在運行與數據呼叫相關的cts測試（例如關閉/打開移動數據以及連接移動數據的超時時間設置為10秒），則此測試將通過一段時間，而有時將失敗。 在這種情況下，增加該超時將解決此問題。

關於在運行多個程序包時測試用例失敗的問題，有可能失敗之前的測試用例沒有將設備設置為中性/原始狀態以進行下一個測試。 優良作法是在退出測試用例時還原測試期間進行的所有更改。