[英]How to merge two dataframe in pandas to replace nan
我想在熊貓中做到這一點:
我有 2 個數據幀,A 和 B,我只想用 B 值替換 A 的 NaN。
A
2014-04-17 12:59:00 146.06250 146.0625 145.93750 145.93750
2014-04-17 13:00:00 145.90625 145.9375 145.87500 145.90625
2014-04-17 13:01:00 145.90625 NaN 145.90625 NaN
2014-04-17 13:02:00 NaN NaN 145.93750 145.96875
B
2014-04-17 12:59:00 146 2/32 146 2/32 145 30/32 145 30/32
2014-04-17 13:00:00 145 29/32 145 30/32 145 28/32 145 29/32
2014-04-17 13:01:00 145 29/32 146 145 29/32 147
2014-04-17 13:02:00 146 146 145 30/32 145 31/32
Result:
2014-04-17 12:59:00 146.06250 146.0625 145.93750 145.93750
2014-04-17 13:00:00 145.90625 145.9375 145.87500 145.90625
2014-04-17 13:01:00 145.90625 146 145.90625 147
2014-04-17 13:02:00 146 146 145.93750 145.96875
官方推廣的方法是A.combine_first(B)
。 更多信息在官方文檔中。
但是,它在來自A.fillna(B)
大型數據庫(使用 25000 個元素執行測試A.fillna(B)
大大優於它:
In[891]: %timeit df.fillna(df2)
1000 loops, best of 3: 333 µs per loop
In[892]: %timeit df.combine_first(df2)
100 loops, best of 3: 2.15 ms per loop
In[894]: (df.fillna(df2) == df.combine_first(df2)).all().all()
Out[890]: True
與此類似:
>>> a
array([[ 0., 1., 2.],
[ 3., nan, 5.],
[ 6., 7., 8.]], dtype=float16)
>>> b
array([[ 1000., 1000., 1000.],
[ 1000., 1000., 1000.],
[ 1000., 1000., 1000.]])
>>> mask = np.isnan(a)
>>> mask
array([[False, False, False],
[False, True, False],
[False, False, False]], dtype=bool)
>>> a[mask] = b[mask]
>>> a
array([[ 0., 1., 2.],
[ 3., 1000., 5.],
[ 6., 7., 8.]], dtype=float16)
或者,使用numpy.where()
:
>>> a
array([[ 0., 1., 2.],
[ 3., nan, 5.],
[ 6., 7., 8.]], dtype=float16)
>>> a = np.where(np.isnan(a), b, a)
>>> a
array([[ 0., 1., 2.],
[ 3., 1000., 5.],
[ 6., 7., 8.]])
>>>
https://stackoverflow.com/a/13062410/2823755建議第一種(布爾索引)方法可能適用於數據幀本身。 ...它確實(不滿意,所以我安裝了熊貓):
>>> a = pandas.DataFrame(np.arange(25, dtype = np.float16).reshape(5,5))
>>> a.values[3,2] = np.NaN
>>> b = pandas.DataFrame(np.arange(1000, 1025, dtype = np.float16).reshape(5,5))
>>> a[np.isnan(a)] = b[np.isnan(a)]
>>> a
0 1 2 3 4
0 0 1 2 3 4
1 5 6 7 8 9
2 10 11 12 13 14
3 15 16 1017 18 19
4 20 21 22 23 24
>>>
pandas.DataFrame.where
也有效。
a.where(~np.isnan(a), other = b, inplace = True)
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.