如何编写函数以使用python中的迭代通过2个数据框获取价值

Question

我得到了两个数据帧，A的长度为2173，B的长度为6135。A称为“文件名”，B称为“ crsp_name”

A.head()
                    file_name
0                       3M CO
1         ABBOTT LABORATORIES
2                     ABC INC
3            ALTRIA GROUP INC
4  AMERICAN ELECTRIC POWER CO
B.head()
0      A & E PLASTIK PAK INC
1    A & M FOOD SERVICES INC
2                 A A I CORP
3          A A IMPORTING INC
4                 A A R CORP
Name: comnam, dtype: object

我试图计算A中每个元素与B的fuzz.token_set_ratio并将它们组合为一个数据帧。例如，计算“ 3M CO”与B中每个元素的比率，并组合“ 3M”和最大比率作为数据帧中的一行。 以这种方式，我希望得到一个形状为（2173,2）的数据框

这是我的函数，我尝试使用“ apply”和“ fuzzratio”函数来计算所需的比率。 但是有一个错误，希望有人可以为我提供正确的解决方案。

def fuzzratio(x):
    global crsp_name
    ratio_list = list()
    name_list = list()
    for i in crsp_name:
        ratio = fuzz.token_set_ratio(x,i)
        if ratio > 80:
            name_list.append(x)
            ratio_list.append(ratio)
    name_list = pd.DataFrame(name_list)
    result = pd.merge(name_list,ratio_list).rename(columns = {'comnam','ratio'})
    return result

file_name.apply(fuzzratio)

错误：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/core/frame.py", line 6004, in apply
    return op.get_result()
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/core/apply.py", line 318, in get_result
    return super(FrameRowApply, self).get_result()
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/core/apply.py", line 142, in get_result
    return self.apply_standard()
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/core/apply.py", line 248, in apply_standard
    self.apply_series_generator()
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/core/apply.py", line 277, in apply_series_generator
    results[i] = self.f(v)
  File "<stdin>", line 11, in fuzzratio
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/core/reshape/merge.py", line 60, in merge
    validate=validate)
  File "/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/pandas/core/reshape/merge.py", line 526, in __init__
    'type {right}'.format(right=type(right)))
ValueError: ("can not merge DataFrame with instance of type <class 'list'>", 'occurred at index file_name')

Answer 1

我通过以下方式创建测试数据：

dat_A="""file_name
3M CO
ABBOTT LABORATORIES
ABC INC
ALTRIA GROUP INC
AMERICAN ELECTRIC POWER CO"""

dat_B="""crsp_name
A & E PLASTIK PAK INC
A & M FOOD SERVICES INC
A A I CORP
A A IMPORTING INC
A A R CORP
ABBOTT
ABBOTT LABS
ALTRIA
ALTRIA GROUP"""

df_A = pd.read_csv(pd.compat.StringIO(dat_A))
df_B = pd.read_csv(pd.compat.StringIO(dat_B))

因为从df_B仅使用了crsp_name列，出于效率原因，我将其提取到crsp变量中：

crsp = df_B.crsp_name

为了更轻松地使用比率阈值，我将其保存为另一个变量：

ratio_threshold = 50

出于测试目的，我采用了一个较低的值以获取任何“非空”结果，但是对于您的数据，请将其重新设置为80 （您定义的值）。

然后，我们定义即将应用的功能：

def fn(t1):
    ratios = crsp.apply(lambda t2: fuzz.token_set_ratio(t1, t2))
    iMax = ratios.idxmax()
    rMax = ratios[iMax]
    return crsp.loc[iMax] if rMax > ratio_threshold else f'{iMax}_{rMax}'

此函数将应用于df_A.file_name中的每个字符串，因此t1是当前值（ file_name ）。

该函数从计算当前file_name和每个crsp_name之间的令牌集比率开始（以比率保存）。

然后，将iMax计算为最大比率和rMax-最大比率本身的指标。

如果最大比率高于我们的阈值，则该函数将返回相应的crsp_name 。

否则，该函数将返回“诊断消息” -x_y （2个数字），其中x是找到最大比率的索引，而y-比率本身。 在程序的最终版本中，将其更改为np.nan或空字符串。

唯一要做的就是应用此函数并将结果作为新列添加到df_A ：

df_A['crsp_name'] = df_A.file_name.apply(fn)

对于以上测试数据（阈值== 50），我得到：

                    file_name              crsp_name
0                       3M CO                   2_46
1         ABBOTT LABORATORIES                 ABBOTT
2                     ABC INC  A & E PLASTIK PAK INC
3            ALTRIA GROUP INC                 ALTRIA
4  AMERICAN ELECTRIC POWER CO                   1_43

如您所见，仍然有2种情况， crsp_name中的位置没有超过50的比率，但是原因是源数据非常有限。

第二解决方案

当任务是查找候选列表的匹配项时，更好的（快速）解决方案是使用process.extractOne 。

由于它将列表作为第二个参数，因此我将值从crsp提取到另一个变量中：

crspVals = crsp.values

匹配功能（仅返回最佳匹配）为：

def fn3(t1):
    res = process.extractOne(t1, crspVals, scorer=fuzz.token_set_ratio,
        score_cutoff=ratio_threshold)
    return res[0] if res else ''

process.extractOne返回一个元组 （最佳匹配，比率），但是如果未找到高于阈值的匹配，则结果为None ，所以我决定放弃低于阈值的最佳比率，仅返回最佳匹配或空字符串。

要应用此功能，请运行：

df_A['crsp_name'] = df_A.file_name.apply(fn3)

与第一个解决方案（修改为仅返回crsp_name ）相比，它的运行速度快了将近2倍。