[英]Applying a function depending of index and column of a dataframe to a dataframe
[英]Applying function to each column of a DataFrame depending on a column-specific condition without loop
我想对 DataFrame 的每一列应用一个函数。
将其应用于哪些行取决于某些特定于列的条件。
要使用的参数值也取决于函数。
以这个非常简单的 DataFrame 为例:
>>> df = pd.DataFrame(data=np.arange(15).reshape(5, 3))
>>> df
0 1 2
0 0 1 2
1 3 4 5
2 6 7 8
3 9 10 11
4 12 13 14
我想使用数组中包含的特定于列的值将函数应用于每一列,例如:
>>> multiplier = np.array([0, 100, 1000]) # First column multiplied by 0, second by 100...
我也只想乘以索引在特定列范围内的行,比如在数组中包含的值下面:
>>> limiter = np.array([2, 3, 4]) # Only first two elements in first column get multiplied, first three in second column...
有效的是这样的:
>>> for i in range(limit.shape[0]):
>>> df.loc[df.index<limit[i], i] = multiplier[i] * df.loc[:, i]
>>> df
0 1 2
0 0 100 2000
1 0 400 5000
2 6 700 8000
3 9 10 11000
4 12 13 14
但是这种方法对于我正在处理的大型 DataFrame 来说太慢了。
有什么方法可以将其矢量化吗?
您可以利用底层的numpy数组。
df = pd.DataFrame(data=pd.np.arange(15).reshape(5, 3))
multiplier = pd.np.array([0, 100, 1000])
limit = pd.np.array([2, 3, 4])
df1 = df.values
for i in pd.np.arange(limit.size):
df1[: limit[i], i] = df1[: limit[i], i] * multiplier[i]
df2 = pd.DataFrame(df1)
print (df2)
0 1 2
0 0 100 2000
1 0 400 5000
2 6 700 8000
3 9 10 11000
4 12 13 14
性能:
# Your implementation
%timeit for i in range(limit.shape[0]): df.loc[df.index<limit[i], i] = multiplier[i] * df.loc[:, i]
3.92 ms ± 120 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
# Numpy implementation (High Performance Gain)
%timeit for i in pd.np.arange(limit.size): df1[: limit[i], i] = df1[: limit[i], i] * multiplier[i]
25 µs ± 1.27 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.