排序列表差异

Question

我有以下问题。

我有一组元素，我可以通过某种算法 A 对它们进行排序。排序很好，但是非常昂贵。

还有一种算法B可以逼近A的结果，速度快很多，但是排序不会完全一样。

将 A 的 output 作为“黄金标准”，我需要对在相同数据上使用 B 所导致的错误进行有意义的估计。

任何人都可以建议我可以查看的任何资源来解决我的问题吗？ 提前致谢！

编辑：

根据要求：添加一个例子来说明情况：如果数据是字母表的前 10 个字母，

A输出：a,b,c,d,e,f,g,h,i,j

B输出：a,b,d,c,e,g,h,f,j,i

导致错误的可能措施是什么，这将允许我调整算法 B 的内部参数以获得更接近 A 的 output 的结果？

Answer 1

斯皮尔曼的rho

我想你想要的是斯皮尔曼的等级相关系数 。 使用两个排序的索引[rank]向量（完美A和近似B ），计算从-1（完全不同）到1（完全相同）的等级相关rho ：

其中d（i）是A和B之间每个字符的等级差异

您可以将误差度量定义为距离D := (1-rho)/2 。

Answer 2

我会确定最大的正确排序子集。

                               +-------------> I
                               |   +--------->
                               |   |
A -> B -> D ----->  E  -> G -> H --|--> J
     |             ^ |             |    ^
     |             | |             |    |
     +------> C ---+ +-----------> F ---+

在你的例子中有7个满分，所以算法得分为0.7。 其他组的长度为6.正确的排序得分为1.0，反向排序为1 / n。

我认为这与反转次数有关。 x + y表示x <= y（正确顺序），x-y表示x> y（错误顺序）。

A + B + D - C + E + G + H - F + J - I.

我们得到几乎相同的结果 - 9个中的6个是正确的sc 0.667。 再次正确的排序分数1.0和反向排序0.0，这可能更容易计算。

Answer 3

您是否正在寻找一些基于使用A排序的数组和以B作为输入排序的数组来计算差异的算法？ 或者您是否正在寻找一种通用方法来确定在使用B排序时阵列的平均值？

如果第一个，那么我建议一些简单的事情，每个项目的距离应该是什么（平均值比一个总和更好，以删除数组的长度作为一个问题）

如果是第二个，那么我认为我需要了解更多有关这些算法的信息。

Answer 4

计算RMS误差可能是许多可能的方法之一。 这是小python代码。

def calc_error(out_A,out_B):
        # in    <= input
        # out_A <= output of algorithm A
        # out_B <= output of algorithm B

        rms_error = 0

        for i in range(len(out_A)):
            # Take square of differences and add
            rms_error +=  (out_A[i]-out_B[i])**2 

        return rms_error**0.5   # Take square root

>>> calc_error([1,2,3,4,5,6],[1,2,3,4,5,6])
0.0
>>> calc_error([1,2,3,4,5,6],[1,2,4,3,5,6]) # 4,3 swapped
1.414
>>> calc_error([1,2,3,4,5,6],[1,2,4,6,3,5]) # 3,4,5,6 randomized
2.44

注意：取平方根不是必需的，但取正方形只是差异可能总和为零。 我认为calc_error函数给出了错误放置的对的近似数量，但我没有任何编程工具方便所以:(。

看看这个问题。

Answer 5

提供一个很好的通用答案很难，因为适合您的解决方案将取决于您的应用程序。

我最喜欢的选项之一是有序元素对的数量除以对的总数。 这是一个很好，简单，易于计算的指标，只能告诉您有多少错误。 但它没有试图量化这些错误的严重程度。

double sortQuality = 1;
if (array.length > 1) {
   int inOrderPairCount = 0;
   for (int i = 1; i < array.length; i++) {
      if (array[i] >= array[i - 1]) ++inOrderPairCount;
   }
   sortQuality = (double) inOrderPairCount / (array.length - 1);
}

Answer 6

你可以尝试一些涉及汉明距离的事情

Answer 7

如果有人使用 R 语言，我已经实现了一个 function，它使用@bubake 上述方法计算“spearman 等级相关系数”：

get_spearman_coef <- function(objectA, objectB) {
  #getting the spearman rho rank test 
  spearman_data <- data.frame(listA = objectA, listB = objectB)
  spearman_data$rankA <- 1:nrow(spearman_data) 
  rankB <- c()
  
  for (index_valueA in 1:nrow(spearman_data)) {
    for (index_valueB in 1:nrow(spearman_data)) {
      
      if (spearman_data$listA[index_valueA] == spearman_data$listB[index_valueB]) {
        rankB <- append(rankB, index_valueB)
      }
      
      
    }
  }
  spearman_data$rankB <- rankB
  spearman_data$distance <-(spearman_data$rankA - spearman_data$rankB)**2
  
  spearman <- 1 - ( (6 * sum(spearman_data$distance)) / (nrow(spearman_data) * ( nrow(spearman_data)**2 -1) ) )
  print(paste("spearman's rank correlation coefficient"))
  return( spearman)  
}

结果：

get_spearman_coef(c("a","b","c","d","e"), c("a","b","c","d","e"))

斯皮尔曼等级相关系数：1

get_spearman_coef(c("a","b","c","d","e"), c("b","a","d","c","e"))

斯皮尔曼等级相关系数：0.9