如何使用集合的组合作为测试数据

Question

我想用一组边缘情况和正常值的元组来测试一个函数。 例如，在测试一个函数时，只要给定形成有效三角形的三个长度就返回true ，我会遇到特定情况，负数/小数/大数，接近溢出的值等； 更重要的是，主要目的是产生这些值的组合，有或没有重复，以获得一组测试数据。

(inf,0,-1), (5,10,1000), (10,5,5), (0,-1,5), (1000,inf,inf),
...

注意：我实际上知道这个问题的答案，但它可能对其他人有帮助，对这里的人来说是一个挑战！ --稍后将发布我的答案。

Answer 1

当然，尤其是处理大量这些排列/组合时，我绝对可以看到第一遍将是一个问题。

有趣的 Python 实现，尽管我基于“算法 515”（见下文）用 C 和 Ocaml 编写了一个不错的实现。 他用 Fortran 写了他的，因为当时所有“算法 XX”论文都很常见，好吧，那个程序集或 c。 我不得不重新编写它并进行一些小的改进以处理数组而不是数字范围。 这个是随机访问的，我仍在努力获得 Knuth 4th volume fascicle 2 中提到的一些很好的实现。我将向读者解释它是如何工作的。 虽然如果有人好奇，我不反对写一些东西。

/** [combination c n p x]
 * get the [x]th lexicographically ordered set of [p] elements in [n]
 * output is in [c], and should be sizeof(int)*[p] */
void combination(int* c,int n,int p, int x){
    int i,r,k = 0;
    for(i=0;i<p-1;i++){
        c[i] = (i != 0) ? c[i-1] : 0;
        do {
            c[i]++;
            r = choose(n-c[i],p-(i+1));
            k = k + r;
        } while(k < x);
        k = k - r;
    }
    c[p-1] = c[p-2] + x - k;
}

〜“算法 515：从词典索引生成向量”； Buckles, BP 和 Lybanon, M. ACM 数学软件交易，卷。 3，第 2 期，1977 年 6 月。

Answer 2

使用全新的 Python 2.6，您将拥有一个带有 itertools 模块的标准解决方案，该模块返回 iterables 的笛卡尔积：

import itertools

print list(itertools.product([1,2,3], [4,5,6]))
   [(1, 4), (1, 5), (1, 6),
   (2, 4), (2, 5), (2, 6),
   (3, 4), (3, 5), (3, 6)]

您可以提供“重复”参数以使用可迭代对象和自身来执行产品：

print list(itertools.product([1,2], repeat=3))
[(1, 1, 1), (1, 1, 2), (1, 2, 1), (1, 2, 2),
(2, 1, 1), (2, 1, 2), (2, 2, 1), (2, 2, 2)]

你也可以用组合来调整一些东西：

print list(itertools.combinations('123', 2))
[('1', '2'), ('1', '3'), ('2', '3')]

如果顺序很重要，则有排列：

print list(itertools.permutations([1,2,3,4], 2))
[(1, 2), (1, 3), (1, 4),
   (2, 1), (2, 3), (2, 4),
   (3, 1), (3, 2), (3, 4),
   (4, 1), (4, 2), (4, 3)]

当然，所有这些很酷的东西并不完全相同，但是您可以以某种方式使用它们来解决您的问题。

请记住，您可以使用 list()、tuple() 和 set() 将元组或列表转换为集合，反之亦然。

Answer 3

有趣的问题！

我会通过选择组合来做到这一点，类似于 python 中的以下内容。 最难的部分可能是首次通过验证，即if f(1,2,3) returns true ，那是正确的结果吗？ 一旦您验证了这一点，那么这就是回归测试的良好基础。

制作一组您知道全部为真的测试用例（例如，对于这个三角形情况为 3,4,5），而制作一组您知道全部为假的测试用例（例如 0,1 ,inf)。 然后，您可以更轻松地验证测试是否正确。

# xpermutations from http://code.activestate.com/recipes/190465
from xpermutations import *

lengths=[-1,0,1,5,10,0,1000,'inf']
for c in xselections(lengths,3):        # or xuniqueselections
    print c

(-1,-1,-1);
(-1,-1,0);
(-1,-1,1);
(-1,-1,5);
(-1,-1,10);
(-1,-1,0);
(-1,-1,1000);
(-1,-1,inf);
(-1,0,-1);
(-1,0,0);
...

Answer 4

我认为您可以使用Row Test Attribute （在 MbUnit 和更高版本的 NUnit 中可用）来做到这一点，您可以在其中指定多个集合来填充一个单元测试。

Answer 5

虽然可以创建大量测试数据并查看会发生什么，但尽量减少使用的数据会更有效。

从典型的 QA 角度来看，您可能希望识别不同的输入分类。 为每个分类生成一组输入值并确定适当的输出。

这是输入值类别的示例

• 具有小数字的有效三角形，例如（10 亿、2、10 亿、20 亿）
• 具有大数字的有效三角形，例如 (0.000001, 0.00002, 0.00003)
• “几乎”平坦的有效钝角三角形，例如 (10, 10, 19.9999)
• “几乎”平坦的有效锐角三角形，例如 (10, 10, 0000001)
• 至少有一个负值的无效三角形
• 两条边之和等于第三条边的无效三角形
• 两条边之和大于第三条边的无效三角形
• 非数字输入值

...

一旦您对此函数的输入分类列表感到满意，就可以创建实际的测试数据。 可能，测试每个项目的所有排列会有所帮助。 (例如 (2,3,4), (2,4,3), (3,2,4), (3,4,2), (4,2,3), (4,3,2))通常，您会发现您遗漏了一些分类（例如 inf 作为输入参数的概念）。

一段时间内的随机数据可能也有帮助，可以发现代码中的奇怪错误，但通常不会产生效果。

更有可能的是，这个函数被用在一些特定的上下文中，其中应用了附加规则。（例如，只有整数值或值必须以 0.01 为增量等）这些添加到输入参数的分类列表中。