性能测试

Question

我们正在使用VMWare和NUnit开发自动回归测试。 我们将测试分为步骤，现在我希望查看每个步骤的性能回归。 像NUnit一样简单地安排测试时间似乎并不可靠。 我认为接受系数约为15％，但有时我们的步骤可能会超过35％。 在这种依赖资源的测试环境中，是否有一致的测试性能方法？ “智能”计时系统是我唯一的选择吗？

Answer 1

对于这种性能测试，没有一种系统可以为您提供简单的通过/失败结果。 在现实生活中，更改系统可能会使某些事情变快，而另一些事情变慢，因此通常不是在“更好”和“不好”之间进行选择，而是在各种更好之间进行选择。 （当然，您要避免情况更糟）。

我过去为此所做的只是随时间推移保持统计信息。 每次运行测试时，将结果放入修订版本号和测试时间的SQL数据库中。 然后，您可以根据需要随时随地绘制它们的图形（最好是在一个小的Web小程序中，以便团队中的每个人都可以查看它们），并查看您的性能是否呈上升或下降趋势，或者自特定版本以来性能是否一直处于下降状态。

但是，这里的关键是它必须是一个图 。 这样，人眼就能看到并找到趋势。 您可能花了整整一周的时间尝试提出AI算法来对数据进行数值分析，但它永远不会超越人类的模式识别能力。

Answer 2

您可能会研究Ants Profiler之类的工具提供的功能，因为它确实提供了方法的执行/运行时间，但是我不确定在重复测试方面会提供什么功能。

Answer 3

关于性能测试，我一直对使用vmware或其他虚拟化过程持怀疑态度。 我们过去处理此问题的方法是让构建的一部分在静态计算机上安装最新版本并运行测试。 您应该在虚拟化之外看到更一致的结果。