如何加入公司名称不一致的数据集？

Question

我在加入名称不一致的公司的两个数据集时遇到问题。 在第一个数据集中，我有事件数据，包括公司名称、公司 ID 等。在第二个数据集中，我有关于公司的所有信息，包括公司名称和公司 ID。

问题示例：

事件数据示例：

公司名称	公司编号
诺基亚公司
苹果公司。	1234567899

公司数据（“黄金”数据）示例：

公司名称	公司编号
诺基亚公司	2222222222
苹果公司	1111111111

从事件数据示例中可以看出，在第二行中，公司是诺基亚，但写得“不正确”，因此在公司 ID 中有黑色单元格。 在某些情况下，名称也是正确的，但与 Apple 案例的第三行不同。 此外，ID 可能因此而不同。

我的问题是：

• 如何解决这个问题？ 我可以使用任何算法处理器吗？

我在 Excel 中使用了模糊匹配方法。但是，我有超过 100k 的数据要检查。 相似率为 65%，它提供了超过 35k 行以供手动检查。 85% 少于 4k 个观测值。 目的是用最少的手工工作有效地实现高匹配率。

不，目前除了公司名称外，我没有任何其他可以匹配的数据。

最佳方案：使用公司名称匹配所有数据。

编辑：背景：我正在通过一项事件研究来研究专利诉讼对公司价值的影响。 scope 用于研究所有上市公司。

在事件数据中，在原告/被告方，可能存在子公司。 例如：公司名称：Nokia Technologies（Nokia Oyj 的子公司）和与 Nokia Oyj 不同的 ID。 最佳方案也是匹配这些，因为子公司的专利诉讼的影响流向母公司（可以上市）。

编辑 2x：

事件数据的扩展视图：

原告姓名	原告身份证
诺基亚公司	XXXXXXXXXXXXXX
诺基亚技术	XXXXXXXXXXXXXX
苹果公司。	XXXXXXXXXXXXXX
诺基亚技术	XXXXXXXXXXXXXX
谷歌公司	XXXXXXXXXXXXXX
美国电话电报公司	XXXXXXXXXXXXXX
高通公司	XXXXXXXXXXXXXX
易趣公司	XXXXXXXXXXXXXX
戴尔公司	XXXXXXXXXXXXXX
3M创新有限公司	XXXXXXXXXXXXXX

“黄金”数据的扩展视图：

公司名称	公司编号
诺基亚公司	XXXXXXXXXXXXXX
字母公司	XXXXXXXXXXXXXX
苹果公司。	XXXXXXXXXXXXXX
美国电话电报公司	XXXXXXXXXXXXXX
戴尔技术公司	XXXXXXXXXXXXXX
美国电话电报公司	XXXXXXXXXXXXXX
高通公司	XXXXXXXXXXXXXX
易趣公司	XXXXXXXXXXXXXX
3M公司	XXXXXXXXXXXXXX

模糊匹配或替代匹配过程后的预期数据：

原告姓名	公司名称
诺基亚公司	诺基亚公司
诺基亚技术	诺基亚公司
苹果公司。	苹果公司。
诺基亚技术	诺基亚公司
谷歌公司	字母公司
美国电话电报公司	美国电话电报公司
高通公司	高通公司
易趣公司	易趣公司
戴尔公司	戴尔技术公司
3M创新有限公司	3M公司

第一列来自事件数据，第二列来自“黄金”数据。

Answer 1

使用adist和merge的基本 R方法。 这保证会匹配，但当公司非常相似或者是“Apple Silicon”、“Apple Broadcasting”等分支机构时会失败。

merge(df1, 
  cbind(df2, adist = df1$`Company Name`[sapply(df1$`Company Name`, function(x) 
    which.min(adist(x, df2$`Company Name`, partial = T)))]), 
  by.x = "Company Name", by.y = "adist", all = T)
      Company Name Company ID.x Company Name.y Company ID.y
1      Apple, INC.   1234567899      Apple INC   1111111111
2 NokiaCorporation           NA      Nokia Oyj   2222222222

数据

df1 <- structure(list(`Company Name` = c("NokiaCorporation", "Apple, INC."
), `Company ID` = c(NA, 1234567899L)), row.names = c(NA, -2L), 
class = "data.frame")

df2 <- structure(list(`Company Name` = c("Nokia Oyj", "Apple INC"), 
    `Company ID` = c(2222222222, 1111111111)), 
class = "data.frame", row.names = c(NA, 
-2L))

--EDIT--使用新数据

首先在未修改的df1和df2上使用fuzzyjoin s stringdist_left_join

比赛：4/10

library(fuzzyjoin)

stringdist_left_join(df1, df2, by=c("Plaintiff Name" = "Company Name"), 
  ignore_case=T, method = "jw", max_dist = .2)[,c("Plaintiff Name", "Company Name")]
          Plaintiff Name Company Name
1       NokiaCorporation         <NA>
2     Nokia Technologies         <NA>
3            Apple, INC.   Apple INC.
4     Nokia Technologies         <NA>
5           Google, Inc.         <NA>
6           AT & T Corp. AT & T Corp.
7  Qualcomm Incorporated Qualcomm INC
8             eBay, Inc.     EBAY Inc
9             Dell, inc.         <NA>
10 3M Innovation Limited         <NA>

其次在修改后的df1 df2上使用stringdist_left_join 。

修改意味着从两个集合中删除冗长的冗余通用字符串，如“Technologies”和“Company”，并将结果放入临时列Ctemp中。

比赛：7/10

library(fuzzyjoin)

df1$Ctemp <- gsub("Technologies|Company|Limited", "", df1$`Plaintiff Name`)
df2$Ctemp <- gsub("Technologies|Company|Limited", "", df2$`Company Name`)

stringdist_left_join(df1, df2, by="Ctemp", ignore_case=T, method = "jw", 
  max_dist = .2)[,c("Plaintiff Name", "Company Name")]
          Plaintiff Name           Company Name
1       NokiaCorporation                   <NA>
2     Nokia Technologies              Nokia Oyj
3            Apple, INC.             Apple INC.
4     Nokia Technologies              Nokia Oyj
5           Google, Inc.                   <NA>
6           AT & T Corp.           AT & T Corp.
7  Qualcomm Incorporated           Qualcomm INC
8             eBay, Inc.               EBAY Inc
9             Dell, inc. Dell Technologies INC.
10 3M Innovation Limited                   <NA>

第三，使用adist和list(insertions=8, deletions=11, substitutions=7)的成本列表

匹配：9/10（一个不匹配，“Google, Inc.” | “Alphabet INC.”匹配，因为“Inc.”和前缀长度）

df1$Ctemp <- gsub("Technologies|Company|Limited", "", df1$`Plaintiff Name`)
df2$Ctemp <- gsub("Technologies|Company|Limited", "", df2$`Company Name`)

df1$adist <- sapply(df1$Ctemp, function(plaint) 
  df2$Ctemp[which.min(adist(plaint, df2$Ctemp, partial = T, 
    ignore.case = T, costs=list(ins=8, del=11, sub=7)))])

merge(df1, df2, by.x="adist", by.y="Ctemp")[, c("Plaintiff Name", "Company Name")]
          Plaintiff Name           Company Name
1           Google, Inc.          Alphabet INC.
2            Apple, INC.             Apple INC.
3           AT & T Corp.           AT & T Corp.
4             Dell, inc. Dell Technologies INC.
5             eBay, Inc.               EBAY Inc
6       NokiaCorporation              Nokia Oyj
7     Nokia Technologies              Nokia Oyj
8     Nokia Technologies              Nokia Oyj
9  Qualcomm Incorporated           Qualcomm INC
10 3M Innovation Limited           Qualcomm INC

结论：

stringdist_left_join可以通过选择适当的方法进行调整以提供良好的结果，例如jw with max_dist 0.2 并减少搜索字符串中的冗余。

adist可以通过微调成本insertions 、 deletions和substitutions来进一步调整。 始终匹配但可以包括不匹配。

扩展数据

df1 <- structure(list(`Plaintiff Name` = c("NokiaCorporation", 
"Nokia Technologies", "Apple, INC.", "Nokia Technologies", 
"Google, Inc.", "AT & T Corp.", 
"Qualcomm Incorporated", "eBay, Inc.", "Dell, inc.", 
"3M Innovation Limited"
), `Plaintiff ID` = c("XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", 
"XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", 
"XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX")), 
class = "data.frame", row.names = c(NA, -10L))

df2 <- structure(list(`Company Name` = c("Nokia Oyj", "Alphabet INC.", 
"Apple INC.", "AT&T INC.", "Dell Technologies INC.", "AT & T Corp.", 
"Qualcomm INC", "EBAY Inc", "3M Company"), `Company ID` = c("XXXXXXXXXXXXXX", 
"XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", 
"XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX", "XXXXXXXXXXXXXX"
)), class = "data.frame", row.names = c(NA, -9L))