比较多个数字列以确定记录的相似性

Question

我有一个ID数据和许多从-5到5的整数列，包括0。

╔════╦══════╦══════╦══════╦══════╗
║ ID ║ COL1 ║ COL2 ║ COL3 ║ COL4 ║
╠════╬══════╬══════╬══════╬══════╣
║ A  ║   -5 ║   -2 ║    0 ║   -2 ║
║ B  ║    0 ║    1 ║   -1 ║    3 ║
║ C  ║    1 ║   -2 ║   -3 ║    1 ║
║ D  ║   -1 ║   -1 ║    5 ║    0 ║
║ E  ║    2 ║   -3 ║    1 ║   -2 ║
║ F  ║   -3 ║    1 ║   -2 ║   -1 ║
║ G  ║   -4 ║   -1 ║   -1 ║   -3 ║
╚════╩══════╩══════╩══════╩══════╝

我想通过所有列之间的相似性对ID进行分组。 例如，ID A和G相似，因为它们在每一列中的值都非常相似。

╔════╦══════╦══════╦══════╦══════╗
║ ID ║ COL1 ║ COL2 ║ COL3 ║ COL4 ║
╠════╬══════╬══════╬══════╬══════╣
║ A  ║   -5 ║   -2 ║    0 ║   -2 ║
║ G  ║   -4 ║   -1 ║   -1 ║   -3 ║
╚════╩══════╩══════╩══════╩══════╝

另一方面，A和B是不同的

╔════╦══════╦══════╦══════╦══════╗
║ ID ║ COL1 ║ COL2 ║ COL3 ║ COL4 ║
╠════╬══════╬══════╬══════╬══════╣
║ A  ║   -5 ║   -2 ║    0 ║   -2 ║
║ B  ║    0 ║    1 ║   -1 ║    3 ║
╚════╩══════╩══════╩══════╩══════╝

对于给定的ID对，我正在考虑计算每列中的差异，然后将差异相加以获得相似度评分（数字越大，相似度越小）。 目前，这是我最好的主意，但我愿意接受更准确或更有效的方法。

Answer 1

一种方法（使用列中的值之间的绝对差）如下所示：

with all_compared as (
  select a.id as ID,
         b.id as CompID,
         abs(a.col1 - b.col1) + abs(a.col2 - b.col2) + abs(a.col3 - b.col3) + abs(a.col4 - b.col4) as TotalDiff
    from stuff a,
         stuff b
   where a.id != b.id
  ),
  ranked_data as (
  select ID, 
         CompID,
         TotalDiff,
         rank() over (partition by ID order by TotalDiff) Rnk 
    from all_compared
  )
select *
  from ranked_data
 where rnk = 1;

我完成了一个SQL Fiddle，在这里显示了如何逐步进行此操作： http : //sqlfiddle.com/#!4/fef06/14

然后，您将需要决定如何处理联系，因为这会提供输出：

这使用笛卡尔乘积（一个表中的所有行又连接到另一个表中的所有行）和自联接，将每一行与另一行进行比较，并对col1，2等之间的绝对差求和。然后，通过对总差进行排序来减小此差然后选择最高排名

另一种解决方法是使用平方距离而不是绝对差，这会放大较大的差，因此您需要考虑是否要这样做。

示例 1,1＆0,5将得到25，因为（0-5）^ 2是25，这将比0,3＆-4，-1少得到18（3 ^ 2 + 3 ^ 2 ）与绝对差异一样，第一个差异将被视为更相似，因为所有差异均以相同的权重对待。

平方距离版本为：

with all_compared as (
  select a.id as ID,
         b.id as CompID,
         power(a.col1 - b.col1, 2) + 
           power(a.col2 - b.col2, 2) + 
           power(a.col3 - b.col3, 2) + 
           power(a.col4 - b.col4, 2) as SqDist
    from stuff a,
         stuff b
   where a.id != b.id
  ),
  ranked_data as (
  select ID, 
         CompID,
         SqDist,
         rank() over (partition by ID order by SqDist) Rnk 
    from all_compared
  )
select *
  from ranked_data
 where rnk = 1;

另外，您可以同时使用两者，而仅使用平方距离来解决关系：

with all_compared as (
  select a.id as ID,
         b.id as CompID,
         abs(a.col1 - b.col1) + abs(a.col2 - b.col2) + abs(a.col3 - b.col3) + abs(a.col4 - b.col4) as TotalDiff,
         power(a.col1 - b.col1, 2) + 
           power(a.col2 - b.col2, 2) + 
           power(a.col3 - b.col3, 2) + 
           power(a.col4 - b.col4, 2) as SqDist
    from stuff a,
         stuff b
   where a.id != b.id
  ),
  ranked_data as (
  select ID, 
         CompID,
         TotalDiff,
         SqDist,
         rank() over (partition by ID order by TotalDiff, SqDist) Rnk 
    from all_compared
  )
select *
  from ranked_data
 where rnk = 1;