在构建过程中集成系统测试

Question

我正在继续开发序列化层生成器。 用户输入类型的描述（当前使用XSD或WSDL），软件以某种目标语言（当前使用Java和ansi C89）生成代码，该代码可以表示所描述的类型，并且还可以序列化（转换为字节序列）并反序列化这些值。

由于生成代码很棘手（我的意思是，编写代码很困难。编写代码的代码就是编写代码来完成一件困难的事情，这是一个全新的难题：））。 因此，在我的硕士论文之前的项目中，我们决定要进行一些系统测试。

这些系统测试知道值和字节序列的类型和数量对。 为了以某种语言执行系统测试，该类型将通过系统运行，从而产生如上所述的代码。 然后，此代码与一些手写的主机代码链接，该主机代码能够读取这对字节序列和一个值，并具有从字符串中读取给定值的功能。 然后运行生成的可执行文件，并将字节值对送入该可执行文件，并整体检查是否所有此类绑定都导致输出“ Y”。 如果是这种情况，那么这些类型的示例值将序列化为先前定义的字节序列，我们可以得出结论，生成的代码可以正确编译并运行，因此，总的来说，系统中处理该类型的部分是正确的。 这是一件非常好的事情。

但是，现在我对当前的实现有些不满意。 目前，我已经编写了一个自定义的junit运行器，它使用了很多反射魔术，以便从class属性读取这些字节值绑定。 同样，用于生成代码的整个堆栈需要大量样板代码和样板类，它们要做的只是包含两个或三个字符串。 更糟糕的是，很难与所有基于Junits描述并生成测试失败报告的工具进行良好的集成。 如果有用的maven Junit testrunner或eclipse测试运行器吞噬了编译器抛出的任何错误，则实际上很难调试发生的事情，仅仅是因为此错误的格式不同于junits自己的断言错误。

更糟糕的是，在生成的代码中一次失败的测试会导致Maven构建失败。 这很烦人。 我喜欢它，如果对其他单元的特定测试失败时，maven构建失败，因为（例如）因为某个深度优先顺序计算由于某种原因而失败，那么一切都会变得一团糟。 但是，如果我只想向某人展示我知道可以使用的类型的某些生成的代码，那么由于无法立即构建我的应用程序而感到烦恼，因为我现在正在使用的类型尚未完成。

因此，在这种背景下，我如何获得一个检查这些世代规格的好的自动化系统？ 我考虑过的可能性：

• Junit集成解决方案似乎不太理想，除非我可以通过运行器和其他所有东西来提高maven和junit和junit的集成。
• 我们较早使用了Fitnesse，但是总体上放弃了它，因为它引起的问题比解决的多。 我们遇到的主要问题是整合到Maven和Hudson。
• 使用texttest的解决方案。 我并不完全相信，因为这主要是需要一个可执行文件，放在stdin上的字符串和放在stdout上的字符串。 添加整个“运行应用程序，与主机代码链接，然后运行生成的可执行文件”似乎有点复杂。
• 编写我自己的解决方案。 这当然可以工作，并且可以做我想要的。 但是，像往常一样，这将是最耗时的任务。

那么...在避免编写自己的东西的同时，您是否看到了另一种可行的方法呢？

Answer 1

您可以使用-Dmaven.test.skip = true运行Maven。 Netbeans有一种自动设置此方法的方法，除非您明确命中命令之一以测试项目，但我对Eclipse不了解。