如何根據 Python 中的特定列比較兩個 Pandas DataFrame？

Question

我有兩個 Pandas 數據幀：

a =
     ID  Index     Value
1   275      0  00000005
2  1024     27        01
3  1024     23        01

b = 
     ID  Index Value_x Value_y
1  1024     27      01      02
2  1024     23      01      02

我只想根據前三列獲取不同的值，但只保留a的列 - 從而導致：

     ID  Index     Value
1   275      0  00000005

我試過先刪除列，然后以這種方式進行比較，但這最終會創建不必要的 DataFrames 副本（現實世界 arrays 是 100k+ 行）。

Answer 1

您可以使用MultiIndex來執行此操作，而無需創建臨時DataFrame或不必要地復制數據：

# 1
idx_a = pd.MultiIndex.from_frame(a.iloc[:, :3])
idx_b = pd.MultiIndex.from_frame(b.iloc[:, :3])

# 2
idx_diff = idx_a.difference(idx_b)

# 3
result = a.set_index(idx_a).reindex(idx_diff).reset_index(drop=True)

print(result)
    ID  Index     Value
0  275      0  00000005

1. 從每個DataFrame的前 3 列創建MultiIndex對象
2. 獲取出現在idx_a中但不出現在idx_b中的索引值
3. 使用這個差異索引對我們原來的DataFrame ( a ) 進行子集化

Answer 2

您可以使用merge with indicator=True和 slice on "left_only"：

cols = ['ID', 'Index']
c = (a.merge(b[cols], on=cols, how='outer', indicator=True)
      .loc[lambda x: x.pop('_merge').eq('left_only')])

output：

    ID  Index  Value
0  275      0      5

Answer 3

這是一種可能的方法。 您可以將兩個數據框連接起來形成一個 dataframe，然后刪除重復值。

import pandas as pd

a = [
    [275, 0, '00000005'],
    [283, 0, '00F0'],
    [1024, 27, '01']
]

b = [
    [283, 0, '00F0', '00E1'],
    [1024, 27, '01', '02']
]

# create dataframe for a and b
df_a = pd.DataFrame(a, columns=['ID', 'Index', 'Value'])
df_b = pd.DataFrame(b, columns=['ID', 'Index', 'Value_x', 'Value_y'])

# get difference of df_a and df_b based on ID and Index
df_diff = pd.concat([df_a[['ID', 'Index']], df_b[['ID', 'Index']]]).drop_duplicates(
    subset=['ID', 'Index'], keep=False)

print(df_diff)

Answer 4

你需要的是anti_join ：

>>> from datar.all import f, anti_join, tribble
>>> a = tribble(
...     f.ID,  f.Index,  f.Value,
...     275,   0,        "00000005",
...     1024,  27,       "01",
...     1024,  23,       "01",
... )
>>> b = tribble(
...     f.ID,  f.Index,  f.Value_x, f.Value_y,
...     1024,  23,       "01",      "02",
...     1024,  27,       "01",      "02",
... )
>>>
>>> a >> anti_join(b, by={"ID": "ID", "Index": "Index", "Value": "Value_x"})
       ID   Index     Value
  <int64> <int64>  <object>
0     275       0  00000005

我是datar package 的作者，它由 pandas 支持。如果您有任何疑問或問題，請告訴我。