与连续点的成对相似度

Question

我在doc2vec package中使用paragraph2vec_similarity创建了一个大的文档相似度矩阵。 我将其转换为数据框，并在开头添加了一个 TITLE 列，以便稍后对其进行排序或分组。

当前虚拟 Output：

标题	Header	Doc1.1	Doc1.2	Doc1.3	Doc2.1	Doc2.2
文件1	Doc1.1	1.000000	0.7369358	0.6418045	0.6268959	0.6823404
文件1	Doc1.2	0.7369358	1.000000	0.6544884	0.7418507	0.5174367
文件1	Doc1.3	0.6418045	0.6544884	1.000000	0.6180578	0.5274650
文件2	Doc2.1	0.6268959	0.7418507	0.6180578	1.000000	0.5755243
文件2	Doc2.2	0.6823404	0.5174367	0.5274650	0.5755243	1.000000

我想要的是一个数据框，以连续顺序为每个后续文档提供相似性。 即Doc1.1和Doc1.2的分数； 和 Doc1.2 和 Doc1.3。 因为我只对每个单独文档中的相似度分数感兴趣——按对角线顺序排列，如上图粗体所示。

预计 Output

标题	1-2 的相似性	2-3 的相似性	3-4 的相似性
文件1	0.7369358	0.6544884	不适用
文件2	0.5755243	不适用	不适用	不适用
文件3	0.6049844	0.5250659	0.5113757

我能够用x<-data.frame(col=colnames(m)[col(m)], row=rownames(m)[row(last)], similarity=c(m)) 。 这是我能得到的最接近的。 有没有更好的办法？ 因为我正在处理 500 多个不同长度的标题。 仍然可以选择使用diag ，但它会将所有内容都放在矩阵的末尾，并且我会松散文档分组。

Answer 1

如果我正确理解了您的问题， tidyverse中一种可能的解决方案是使数据变长，从 Title 和 Header 中删除前导字母，将它们拆分为点并通过比较结果进行过滤。 最后生成一个新列作为列名，之后数据再次变宽：

library(tidyverse)

# set up / read in dummy data
df <- data.table::fread("Title  Header  Doc1.1  Doc1.2  Doc1.3  Doc2.1  Doc2.2
Doc1    Doc1.1  1.000000    0.7369358   0.6418045   0.6268959   0.6823404
Doc1    Doc1.2  0.7369358   1.000000    0.6544884   0.7418507   0.5174367
Doc1    Doc1.3  0.6418045   0.6544884   1.000000    0.6180578   0.5274650
Doc2    Doc2.1  0.6268959   0.7418507   0.6180578   1.000000    0.5755243
Doc2    Doc2.2  0.6823404   0.5174367   0.5274650   0.5755243   1.000000")

df %>%
    tidyr::pivot_longer(-c(Title, Header)) %>% 
    dplyr::mutate(across(c(Header, name), ~ stringr::str_remove(.x, "^[a-zA-Z]+"))) %>%
    tidyr::separate(Header, sep = "\\.", into = c("f1","f2")) %>%
    tidyr::separate(name, sep = "\\.", into = c("s1","s2")) %>% 
    dplyr::filter(f1 == s1 & (as.numeric(f2) - as.numeric(s2)) == 1) %>% 
    dplyr::mutate(cols = paste("Similarity for", s2, "-", f2)) %>% 
    tidyr::pivot_wider(-c(f1, f2, s1, s2), names_from = "cols", values_from = value)


# A tibble: 2 x 3
  Title `Similarity for 1 - 2` `Similarity for 2 - 3`
  <chr>                  <dbl>                  <dbl>
1 Doc1                   0.737                  0.654
2 Doc2                   0.576                 NA    

Answer 2

另一种解决方案：

df %>%
  group_by(Title) %>%
  summarize(name = embed(Header, 2), .groups = 'drop') %>%
  mutate(value = transform(df, row.names = Header)[name],
         name = str_remove_all(paste(name[,2],name[,1], sep = '_'), '[^_]+[.]'))%>%
  pivot_wider()

# A tibble: 2 x 3
  Title `1_2`     `2_3`    
  <chr> <chr>     <chr>    
1 Doc1  0.7369358 0.6544884
2 Doc2  0.5755243 NA