[英]Pandas: Fill missing values by mean in each group faster than transform
我需要通过每组中的平均值填充pandas DataFrame中的缺失值。 根据这个问题, transform
可以实现这一点。
但是, transform
对我来说太慢了。
例如,对具有100个不同组和70% NaN
值的大型DataFrame进行以下设置:
import pandas as pd
import numpy as np
size = 10000000 # DataFrame length
ngroups = 100 # Number of Groups
randgroups = np.random.randint(ngroups, size=size) # Creation of groups
randvals = np.random.rand(size) * randgroups * 2 # Random values with mean like group number
nan_indices = np.random.permutation(range(size)) # NaN indices
nanfrac = 0.7 # Fraction of NaN values
nan_indices = nan_indices[:int(nanfrac*size)] # Take fraction of NaN indices
randvals[nan_indices] = np.NaN # Set NaN values
df = pd.DataFrame({'value': randvals, 'group': randgroups}) # Create data frame
使用transform
通过
df.groupby("group").transform(lambda x: x.fillna(x.mean())) # Takes too long
我的电脑上已经超过3秒钟了。 我需要更快一些数量级的东西(购买更大的机器不是一种选择:-D)。
那么我怎样才能更快地填补缺失值?
你这样做是错的。 它很慢因为你正在使用lambda
df[['value']].fillna(df.groupby('group').transform('mean'))
fillna()
你是对的 - 你的代码运行时需要3.18秒。 @piRSquared提供的代码需要2.78秒才能运行。
示例代码 : %%timeit df2 = df1.groupby("group").transform(lambda x: x.fillna(x.mean()))
Output: 1 loop, best of 3: 3.18 s per loop`
piRSquared的改进 : %%timeit df[['value']].fillna(df.groupby('group').transform('mean'))
Output: 1 loop, best of 3: 2.78 s per loop
稍微有效的方式(使用排序索引和fillna
) :
您可以将group
列设置为数据帧的索引,并对其进行排序。
df = df.set_index('group').sort_index()
现在您已经有了一个排序索引,通过使用df.loc[x,:]
以组号来访问数据帧的子集是非常便宜的
由于您需要按每个组的平均值进行计算,因此您需要所有唯一的组ID。 对于此示例,您可以使用range
(因为组从0到99),但更一般地说 - 您可以使用:
groups = np.unique(set(df.index))
在此之后,您可以迭代组并使用fillna()
进行插补: %%timeit for x in groups: df.loc[x,'value'] = df.loc[x,'value'].fillna(np.mean(df.loc[x,'value']))
Output: 1 loop, best of 3: 231 ms per loop
注意: set_index
, sort_index
和np.unique
操作是一次性成本。 为了公平对待每个人,我的机器上的总时间(包括这些操作)是2.26秒,但是估算片只花了231毫秒。
这是使用np.bincount
的NumPy方法,这对于这种基于bin的求和/平均操作非常有效 -
ids = df.group.values # Extract 2 columns as two arrays
vals = df.value.values
m = np.isnan(vals) # Mask of NaNs
grp_sums = np.bincount(ids,np.where(m,0,vals)) # Group sums with NaNs as 0s
avg_vals = grp_sums*(1.0/np.bincount(ids,~m)) # Group averages
vals[m] = avg_vals[ids[m]] # Set avg values into NaN positions
请注意,这将更新value
列。
运行时测试
数据量:
size = 1000000 # DataFrame length
ngroups = 10 # Number of Groups
时间:
In [17]: %timeit df.groupby("group").transform(lambda x: x.fillna(x.mean()))
1 loops, best of 3: 276 ms per loop
In [18]: %timeit bincount_based(df)
100 loops, best of 3: 13.6 ms per loop
In [19]: 276.0/13.6 # Speedup
Out[19]: 20.294117647058822
那里20x+
加速!
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.