Maven-surefire-plugin测试在Jenkins构建中失败，但在本地成功运行？

Question

我有一个通过maven-surefire-plugin执行测试的maven项目。 我观察到并正在处理的一个奇怪现象是在本地运行

mvn clean install

执行我的测试的结果是成功构建，失败0次，错误0次。

现在，当我将此应用程序部署到Jenkins尝试构建的远程仓库中时，我会遇到各种随机EasyMock错误，通常是以下类型：

java.lang.IllegalStateException: 3 matchers expected, 4 recorded. at org.easymock.internal.ExpectedInvocation.createMissingMatchers

这是一个继承的遗留应用程序，我们知道，即使不是简单地错误地使用EasyMock，其中许多测试也会存在缺陷，但是我处于这样的状态：通过测试执行，我可以在本地成功构建，但不能在Jenkins中构建。

我知道不能保证执行这些测试的顺序，但是我想知道如何反思Jenkins构建流程与本地构建流程之间的区别以帮助识别问题？

我有什么办法可以强制以本地完成的方式执行测试？ 在这一点上，我只是排除了许多麻烦的测试类，但似乎无论我看到Jenkins故障多少次，我要么解决问题，要么排除测试类，我只是发现它抱怨其他测试以前没有提到的课程。

有什么想法可以解决这种情况吗？

Answer 1

我已经尝试了类似的情况，而我的原因显然是测试实现的一些并发问题 。

而且，在阅读您的评论后：

我实际上所做的修复（就像魔术一样，对吗？）是针对maven-surefire插件的，我设置了属性replaceForks = false，forkCount = 1C，这仅仅是1 *（计算机的CPU数量）。

...我更加确信您的测试存在并发问题。 并发性不容易诊断，尤其是当您的实验在一个CPU上运行正常时。 但是，当您在另一个系统上运行竞争条件时（通常更快或更慢），竞争条件可能会出现。

我强烈建议您逐一检查测试 ，并确保每个测试在逻辑上都是隔离的 ：

• 他们不应依赖预期的先前状态（文件，数据库等）。 相反，他们应该在每次执行之前准备适当的设置 。
• 如果它们同时修改可能干扰其他测试执行的公共资源（文件，数据库，单例文件等），则必须断言每个断言都需要同步，并考虑到其初始状态是未知的：

测试错误：

MySingleton.getInstance().put(myObject);
assertEquals(1, MySingleton.getInstance().size());

正确的测试：

synchronized(MySingleton.getInstance())
{
    MySingleton.getInstance().put(myObject);
    assertTrue(MySingleton.getInstance().contains(myObject));
}

进行审查的一个很好的起点是检查其中一项失败的测试，并向后跟踪执行以找出失败的根本原因。

明确设置测试顺序不是一个好习惯，即使我知道有可能也不会推荐给您，因为这只会掩盖问题的实际原因。 认为在实际的生产环境中，执行顺序通常不被保证。

Answer 2

JUnit测试运行顺序是不确定的。

两台机器上的Java和Maven版本是否相同？ 如果是，请确保您使用的是最新的maven-surefire-plugin版本。 另外，请确保将Freestyle Jenkins作业与Maven构建步骤一起使用，而不要使用Maven项目类型。 使用适当的Jenkins构建类型可以彻底解决构建问题，也可以为您提供更好的错误，以便您可以诊断实际问题。

您可以打开Maven调试日志记录以查看正在运行的顺序测试。每个测试都应设置（或拆除）自己的测试数据，以确保测试可以独立运行。 也许看到测试顺序会为您提供一些线索，说明哪些类不适当地依赖其他类。 并且-如果应用程序使用缓存，请确保在测试之间清除缓存（或根据测试需要执行的操作明确填充缓存）。 还可以考虑一次运行一个程序包来隔离罪魁祸首-多次执行surefile插件可能很有用。

还要检查应用程序是否存在类路径问题。 这个答案对清理类路径有一些建议。

还有另一种可能性：切换到更高版本的JUnit可能会有所帮助-除非应用程序使用的是Spring2.5.6.x。 如果应用程序使用的是Spring 2.5.6.x，并且无法升级，则可以使用的最高JUnit 4.x版本是4.4。 更高版本的JUnit 与Spring Test 2.5.6不兼容，并且可能导致难以诊断的测试错误。