匹配两个不同长度的数据帧中的最近值

Question

如果我有两个不同长度、不同标签和不同数字精度级别的数据框，如下所示：

df1 = pd.DataFrame({'a':np.array([1.2345,2.2345,3.2345]),'b':np.array([4.123,5.123,6.123])})
df2 = pd.DataFrame({'A':np.array([1.2346,2.2343]),'B':np.array([4.1232,5.1239])})

如何找到两个数据帧在列“a”和“A”之间具有近似匹配值的行（例如在 2 位精度内），从而导致 dataframe 像这样

      a         b         A         B
------------------------------------------------
 | 1.2345  |  4.123  |  1.2346  |  4.1232  |
 | 2.2345  |  5.123  |  2.2343  |  5.1239  |

尝试：

尝试#1：

matches_df = pd.merge(df1, df2,  how='inner', left_on=['a'], right_on = ['A'])

这仅在“a”和“A”列之间存在完全匹配时才有效，但我不确定如何合并一个软糖因子以允许匹配精度在 2 位以内的行。

尝试#2

matches_df = df1.loc[np.round(df1['a'],2)==np.round(df2['A'],2)]

这给出了错误“ValueError：只能比较标记相同的系列对象”，因为我认为这两个数据帧具有不同的标签（'a'、'b' 和 'A'、'B'）。

关于如何实现这一点的任何想法？

Answer 1

使用KDTree ，您可以在m O(log n)中找到df1中最接近的数学，其中n是df2中的元素数和df1中的m元素数。

import pandas as pd
import numpy as np
from scipy.spatial import cKDTree

df1 = pd.DataFrame({'a':np.array([1.2345,2.2345,3.2345]),'b':np.array([4.123,5.123,6.123])})
df2 = pd.DataFrame({'A':np.array([1.2346,2.2343]),'B':np.array([4.1232,5.1239])})


def spatial_merge_NN(df1, df2, xyz=['A', 'B']):
    ''' Add features from df2 to df1, taking closest point '''
    tree = cKDTree(df2[xyz].values)
    dists, indices = tree.query(df1[['a','b']].values, k=1)
    fts = [c for c in df2.columns]
    for c in fts:
        df1[c] = df2[c].values[indices]
    return df1

df_new = spatial_merge_NN(df1, df2, ['A', 'B'])
#         a      b       A       B
# 0  1.2345  4.123  1.2346  4.1232
# 1  2.2345  5.123  2.2343  5.1239
# 2  3.2345  6.123  2.2343  5.1239

它放置一个 dataframe 常量（在本例中为df1 ）并遍历df2并找到与d2最接近的对并添加该行。