使用Jenkins + Robot框架进行测试自动化

Question

我们使用Jenkins进行持续集成。

我还为机器人框架测试用例创建了一个詹金斯工作。 但是在使用Jenkins运行机器人框架测试用例时遇到了一个问题。

假设，如果我必须在机器人框架的Jenkins作业中包含约300个测试用例，则在运行测试用例时，如果任何测试用例失败，那么将不会执行其余的测试脚本。

例如：在运行测试用例时，如果第10个测试用例失败，则其余290个测试用例将不会执行！

Jenkins中有没有更好的选择以并发方式运行所有测试用例？ -这样，任何测试用例的失败都不会影响其他测试用例的执行！

我唯一的要求是-即使两次之间的任何测试用例失败，都必须执行Jenkins作业中列出的所有测试用例。

您能为这个问题提出解决方案吗？

我是否需要为此包括其他任何插件？

这是此特定Jenkins Job的屏幕截图-

Answer 1

这不是批量运行测试的好方法。 对于初学者，RobotFramework日志将仅包含上次测试的结果，即使它们都通过了。

问题是，当构建中的“执行外壳”步骤失败时，Jenkins将停止构建。 如上面的注释所指出的，您可以尝试使用exit 0更改返回状态。

但是，不是每个测试都是一个单独的构建步骤，而是：

pybot /home/arun/test-cases/228.txt
pybot /home/arun/test-cases/117.txt
...etc

您应该在一个步骤中一起执行它们：

pybot /home/arun/test-cases/

如果您需要控制执行哪些测试，而不是控制该文件夹及其子文件夹中的所有有效测试文件，则请使用标签。

Answer 2

强制您的Robot脚本以“退出0”从外壳成功返回，以授权插件确定构建是否成功（默认情况下，如果有任何失败的测试，Robot退出并显示错误代码）

因此，如果您的测试脚本返回0，则jenkins构建不会失败，您可以根据结果决定要显示的状态。

设置关键测试的阈值并有选择地禁用阈值，以便仅将每个测试的合格百分比计算在内。