我们正在使用VMWare和NUnit开发自动回归测试。 我们将测试分为步骤,现在我希望查看每个步骤的性能回归。 像NUnit一样简单地安排测试时间似乎并不可靠。 我认为接受系数约为15%,但有时我们的步骤可能会超过35%。 在这种依赖资源的测试环境中,是否有一致的测试性能方法? “智能”计时系统是我唯一的选择吗?

===============>>#1 票数:5 已采纳

对于这种性能测试,没有一种系统可以为您提供简单的通过/失败结果。 在现实生活中,更改系统可能会使某些事情变快,而另一些事情变慢,因此通常不是在“更好”和“不好”之间进行选择,而是在各种更好之间进行选择。 (当然,您要避免情况更糟)。

我过去为此所做的只是随时间推移保持统计信息。 每次运行测试时,将结果放入修订版本号和测试时间的SQL数据库中。 然后,您可以根据需要随时随地绘制它们的图形(最好是在一个小的Web小程序中,以便团队中的每个人都可以查看它们),并查看您的性能是否呈上升或下降趋势,或者自特定版本以来性能是否一直处于下降状态。

但是,这里的关键是它必须是一个 这样,人眼就能看到并找到趋势。 您可能花了整整一周的时间尝试提出AI算法来对数据进行数值分析,但它永远不会超越人类的模式识别能力。

===============>>#2 票数:0

您可能会研究Ants Profiler之类的工具提供的功能,因为它确实提供了方法的执行/运行时间,但是我不确定在重复测试方面会提供什么功能。

===============>>#3 票数:0

关于性能测试,我一直对使用vmware或其他虚拟化过程持怀疑态度。 我们过去处理此问题的方法是让构建的一部分在静态计算机上安装最新版本并运行测试。 您应该在虚拟化之外看到更一致的结果。

  ask by Adam Driscoll translate from so

未解决问题?本站智能推荐:

3回复

如何建立依赖测试以进行回归测试

我有一个ASP.Net MVC项目,我想我可以使用MS Test或NUnit之类的工具来执行从控制器层到数据库的回归测试,但是我遇到了一个问题,即测试并非旨在按顺序运行(您可以可以在MS Test中使用有序测试,但测试仍可同时运行),另一个问题是如何允许从一个测试创建的数据可被另一个测试访问?
1回复

用客户端为wcf服务编写回归测试

我想写一个自动回归测试,我的服务启动,我可以断言我的客户端可以从服务中检索一些东西。 这不起作用,因为我的服务没有运行。 在测试之前我如何开始我的服务?
5回复

如何为.Net应用程序编写性能测试?

如何为.Net应用程序编写性能测试? nUnit或任何其他测试框架是否为此提供了框架? 编辑 :我必须衡量WCF服务的性能。
1回复

Windows 10 VM上的Visual Studio-性能不佳

我使用的是MacBook Pro Retina,2012年中,内存为16GB。 我正在运行带有Windows 10的VMWare Fusion来宾VM。 到目前为止,我一直在使用SQL Server,到目前为止,性能一直非常快/响应迅速-完全没有问题。 我现在需要使用Visual
1回复

VMWare性能指标ID是否稳定?

我正在使用VMWare的.NET SDK监视VMWare vCenter主机和VM。 我正在使用度量标准键作为数据库中的键。 这些键的稳定性如何? 我在文档中找不到关于它的任何信息。 它们是否根据VMWare / vSphere版本进行更改? 还是每次重新启动服务器?
2回复

双核性能比单核差?

以下nunit测试比较了运行单个线程与在双核机器上运行2个线程之间的性能。 具体来说,这是一台运行在四核Linux SLED主机上的VMWare双核虚拟Windows 7计算机,戴尔Inspiron 503。 每个线程简单地循环并递增2个计数器,addCounter和readCounte
1回复

为什么我的测试Winforms应用程序似乎可以顺序运行?

我有许多规格很高的VMWare Server 2012实例(32个CPU),但是运行某些应用程序时似乎出现性能问题。 因此,我创建了一个.net winforms EXE,该EXE循环直至到达计数器: 我在生产服务器上发现,我可以在一分钟内运行1.2M循环。 但是,当我运行该可执
2回复

整合测试

我正在.net中开发并使用NUnit。 我为不同的类和每个不同的模块进行测试。 我现在需要一起测试所有模块! 模块之间通过DB和Tibco基础结构相互联系。 我应该如何一起测试所有这些交响乐? PS-如果有比NUnit更有用的方法,我欢迎您提出建议。
1回复

测试CreateSQLQuery

我使用NHibernate CreateSQLQuery方法来获取我部门的DTO对象。 而且效果很好。 但我也想编写一个测试,但在编写时它失败了: 它引发SQLiteException并写入“无法执行查询”。 有人可以帮忙吗?
1回复

.NET和Jenkins的Selenium性能 - 如何分析和改进它?

我有一个ASP.NET网站,我想用Selenium测试。 我想在“临时”虚拟机上设置Jenkins实例,以自动运行测试。 问题是测试运行速度非常慢 - 比我的开发机器慢几倍。 单个简单的测试可能需要2-3分钟。 我想知道这是否是预期的,如果像我这样的测试设置有任何明显的缺陷,并且