如何将 fillna 用于合并数据集中的原始数据集

Question

我有 2 个不同的数据集

1 是 400k 行的主数据 - 大数据

另一个是 10k 行 - 小数据

让我们说 df1 - 大数据

df2 - 小数据

我使用 loc 作为 1 个 id。

我不想让 df1['ltl'] 列为零，所以我想用 df2['os'] 列替换它

import pandas as pd
import numpy as np

df1 = pd.DataFrame()

data = {'index' : [8,9,10,11,12,146131,146132,146133,146134,146135,199730,199731,199732,291350,291351,291352,318870,318871,318872,318873,318874],
        'id' : [1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411,1411],
        'ltl' :  [4358,5686,4180,0,5167,0,4358,5686,5167,4180,5167,4180,4358,5167,4358,4180,4358,5686,4180,0,5167],
        'year' : [2016,2019,2017,2020,2018,2020,2016,2019,2018,2017,2018,2017,2016,2018,2016,2017,2016,2019,2017,2020,2018]}

df1 = pd.DataFrame(data)
df1.set_index('index')

data2 = {'index2' : [1131,1132],
        'id' : [1411,1411],
        'os' :  [15760,3045],
        'year' : [2019,2020]}

df2 =pd.DataFrame(data2)
df2.set_index('index2')

所以我合并这两个数据

mergei = df1.merge(df2, on=['id','year'], how='inner')
mergei.shape
mergei

mergei['ltl'].replace(0, np.nan, inplace=True)
mergei

mergei['ltl'].fillna(value=mergei['os'],inplace=True)
mergei

如您所见，我设法填充了合并数据中的 ['ltl'] 列

如果我尝试从合并数据中取值来填充 df1['ltl']，结果是这样的

df1['ltl'].replace(0, np.nan, inplace=True)
df1['ltl'].fillna(value=mergei['os'], inplace=True)
df1

    index   id  ltl year
0   8   1411    4358.0  2016
1   9   1411    5686.0  2019
2   10  1411    4180.0  2017
3   11  1411    **3045.0    2020**
4   12  1411    5167.0  2018
5   146131  1411    **3045.0    2020**
6   146132  1411    4358.0  2016
7   146133  1411    5686.0  2019
8   146134  1411    5167.0  2018
9   146135  1411    4180.0  2017
10  199730  1411    5167.0  2018
11  199731  1411    4180.0  2017
12  199732  1411    4358.0  2016
13  291350  1411    5167.0  2018
14  291351  1411    4358.0  2016
15  291352  1411    4180.0  2017
16  318870  1411    4358.0  2016
17  318871  1411    5686.0  2019
18  318872  1411    4180.0  2017
19  318873  1411    **NaN   2020**
20  318874  1411    5167.0  2018

如您所见，对于第 19 行，我想填充 3045，但索引不一致 我想根据ID 和 Year填充值

我尝试在 ID 上重置索引，但没有用，

我也尝试了 combine_first 但它没有用。

如果我使用合并数据，那么形状就会改变。 df1 是这里的主数据。

我希望结果是这样的

    index   id  ltl year
0   8   1411    4358.0  2016
1   9   1411    5686.0  2019
2   10  1411    4180.0  2017
3   11  1411    **3045.0    2020**
4   12  1411    5167.0  2018
5   146131  1411    **3045.0    2020**
6   146132  1411    4358.0  2016
7   146133  1411    5686.0  2019
8   146134  1411    5167.0  2018
9   146135  1411    4180.0  2017
10  199730  1411    5167.0  2018
11  199731  1411    4180.0  2017
12  199732  1411    4358.0  2016
13  291350  1411    5167.0  2018
14  291351  1411    4358.0  2016
15  291352  1411    4180.0  2017
16  318870  1411    4358.0  2016
17  318871  1411    5686.0  2019
18  318872  1411    4180.0  2017
19  318873  1411    **3045.0    2020**
20  318874  1411    5167.0  2018

Answer 1

如果我理解正确，您只需将内部连接更改为左连接并将其重新分配回 df1。 为了安全起见，您可以将其分配给 mergei 并在确定代码有效后将其分配回主数据 df1

df1 = df1.merge(df2, on=['id','year'], how='left')
df1['ltl'].replace(0, np.nan, inplace=True) 
df1['ltl'].fillna(value=mergei['os'], inplace=True)
df1[['index', 'id', 'ltl', 'year']]

Output：

    index   id      ltl     year
0   8       1411    4358.0  2016
1   9       1411    5686.0  2019
2   10      1411    4180.0  2017
3   11      1411    3045.0  2020
4   12      1411    5167.0  2018
5   146131  1411    3045.0  2020
6   146132  1411    4358.0  2016
7   146133  1411    5686.0  2019
8   146134  1411    5167.0  2018
9   146135  1411    4180.0  2017
10  199730  1411    5167.0  2018
11  199731  1411    4180.0  2017
12  199732  1411    4358.0  2016
13  291350  1411    5167.0  2018
14  291351  1411    4358.0  2016
15  291352  1411    4180.0  2017
16  318870  1411    4358.0  2016
17  318871  1411    5686.0  2019
18  318872  1411    4180.0  2017
19  318873  1411    3045.0  2020
20  318874  1411    5167.0  2018

希望这有帮助。