Android CTS-随机测试失败

Question

当我使用以下命令运行android CTS完整测试时

run cts --plan CTS

每次它对某些软件包显示不同的结果时，我的意思是某些软件包每次重新运行完全测试时都会随机通过/失败。 但是，当我单独运行程序包（某些测试失败的程序包）时，所有测试都通过了。

为什么我看到这种行为？

环境：操作系统：Android L CTS版本：5.1_r7

Answer 1

有时某个测试会随机失败，这是因为一段时间未满足测试条件，有时会因为超时测试而失败。

Answer 2

某些cts测试涉及为某些事件发生设置的特定超时。 例如，如果您正在运行与数据呼叫相关的cts测试（例如关闭/打开移动数据以及连接移动数据的超时时间设置为10秒），则此测试将通过一段时间，而有时将失败。 在这种情况下，增加该超时将解决此问题。

关于在运行多个程序包时测试用例失败的问题，有可能失败之前的测试用例没有将设备设置为中性/原始状态以进行下一个测试。 优良作法是在退出测试用例时还原测试期间进行的所有更改。