Pandas 比较两个数据帧

Question

我有两个数据框。 我将以循环的形式解释我的要求——因为这就是我将问题形象化的方式。 我意识到可以有另一种解决方案，所以如果可以以不同的方式完成，请随时分享！ 我是 Pandas 的新手，所以我正在努力解决这个问题。 提前感谢您看我的问题！！

我有 2 个包含 3 列的数据框：ID、ODO、ODOLength。 ODOLength 是我使用的每个 ODO 记录的运行差异： abs(Df1['Odo'] - Df1['Odo'].shift(-1))

OldDataSet = {'id' : [10,20,30,40,50,60,70,80,90,100,110,120,130,140],'Odo': [-1.09,1.02,26.12,43.12,46.81,56.23,111.07,166.38,191.27,196.41,207.74,231.61,235.84,240.04], 'OdoLength':[2.11,25.1,17,3.69,9.42,54.84,55.31,24.89,5.14,11.33,23.87,4.23,4.2,4.09]}

NewDataSet = {'id' : [1000,2000,3000,4000,5000,6000,7000,8000,9000,10000,11000,12000,13000,14000],'Odo': [1.51,2.68,4.72,25.03,42,45.74,55.15,110.05,165.41,170.48,172.39,190.35,195.44,206.78], 'OdoLength':[1.17,2.04,20.31,16.97,3.74,9.41,54.9,55.36,5.07,1.91,17.96,5.09,11.34,23.89]}

FinalResultDataSet = {'DFOneId':[10,20,30,40,50,60,70,80,90,100,110], 'DFTwoID' : [1000,3000,4000,5000,6000,7000,8000,11000,12000,13000,14000], 'OdoDiff': [2.6,3.7,1.09,1.12,1.07,1.08,1.02,6.01,0.92,0.97,0.96], 'OdoLengthDiff':[0.94,4.79,0.03,0.05,0.01,0.06,0.05,6.93,0.05,0.01,0.02], 'OdoAndLengthDiff':[1.66,1.09,1.06,1.07,1.06,1.02,0.97,0.92,0.87,0.96,0.94]}


df1= pd.DataFrame(OldDataSet)

df2 = pd.DataFrame(NewDataSet)

FinalDf = pd.DataFrame(FinalResultDataSet)

获取 FinalDF 的逻辑如下：从 df1 中取出 Odo 和 OdoLen，然后从 df2 中的每个 Odo 和 OdoLen 列中减去它。 取差值的最小值并匹配它们。 对于 Df1 和 Df2 的下一次比较，从没有匹配的第一个 Df2 记录开始。 如果 Df2 值不是最小值，则对于正在比较的当前 Df1 值，则 DF2 的该记录不包含在最终数据集中。 例如，将 Df1 ID 20- 与 Df2 ID 2000 进行比较，最终结果为 21.4 ((DfOne.ODO:1.02-DfTwo.ODO:2.68) - (DfOneODOLen:25.1-DfTwo.ODoLen-2.04) = 21.4)，当 Df1 ID 20 与 Df2 3000 进行比较时，最终差异为 1.09 ((DfOne.ODO:1.02-DfTwo.ODO:4.72) - (DfOneODOLen:25.1-DfTwo.ODoLen-20.31) = 1.06)。 在这种情况下，Df2 ID 3000 与 DF1 ID 20 匹配，而 Df2 ID - 2000 被丢弃，因为差异较大。 此时不考虑 DF2 ID 2000 进行任何其他匹配。 因此下一个 DF1 记录比较将从 DF2 ID 4000 开始，因为这是下一个不匹配的值。

正如我所说，我愿意接受所有建议！

谢谢！

Answer 1

您可以使用merge_asof

第一步：合并数据框

df1['match']=df1.Odo+df1.OdoLength
df2['match']=df2.Odo+df2.OdoLength

out=pd.merge_asof(df1,df2,on='match',direction='nearest')
out.drop_duplicates(['id_y'])
Out[728]:
     Odo_x  OdoLength_x  id_x   match   Odo_y  OdoLength_y   id_y
0    -1.09         2.11    10    1.02    1.51         1.17   1000
1     1.02        25.10    20   26.12    4.72        20.31   3000
2    26.12        17.00    30   43.12   25.03        16.97   4000
3    43.12         3.69    40   46.81   42.00         3.74   5000
4    46.81         9.42    50   56.23   45.74         9.41   6000
5    56.23        54.84    60  111.07   55.15        54.90   7000
6   111.07        55.31    70  166.38  110.05        55.36   8000
7   166.38        24.89    80  191.27  172.39        17.96  11000
8   191.27         5.14    90  196.41  190.35         5.09  12000
9   196.41        11.33   100  207.74  195.44        11.34  13000
10  207.74        23.87   110  231.61  206.78        23.89  14000

第2步

然后您可以执行以下操作以获取新列

out['OdoAndLengthDiff']=out.OdoLength_x-out.OdoLength_y+out.Odo_x-out.Odo_y 

顺便说一句，我没有删除列，如果需要，在获得所有新值后，您可以使用out=out.drop([columns],1)删除它