[英]Fastest way to iterate through a pandas dataframe?
如何遍历数据框并仅返回满足特定条件的行? 这种情况必须在以前的行和列上进行测试。 例如:
#1 #2 #3 #4
1/1/1999 4 2 4 5
1/2/1999 5 2 3 3
1/3/1999 5 2 3 8
1/4/1999 6 4 2 6
1/5/1999 8 3 4 7
1/6/1999 3 2 3 8
1/7/1999 1 3 4 1
我想为每一行测试一些条件,如果所有条件都通过了,我想将该行追加到列表中。 例如:
for row in dataframe:
if [row-1, column 0] + [row-2, column 3] >= 6:
append row to a list
我最多可能有3个条件,要返回的行必须为真。 考虑这样做的方法是为所有符合条件的观察结果创建一个列表,然后为出现在所有三个列表中的所有行创建一个单独的列表。
我的两个问题如下:
什么是最快的方式来基于前几行获取所有满足特定条件的行? 遍历5,000行的数据框似乎太长了。 特别是如果必须测试3个条件。
获取满足所有3个条件的行的最佳方法是什么?
选择行的最快方法是不遍历数据框的行。 而是,为要选择的行创建一个具有True值的掩码(布尔数组),然后调用df[mask]
来选择它们:
mask = (df['column 0'].shift(1) + df['column 3'].shift(2) >= 6)
newdf = df[mask]
要将多个条件与逻辑和相结合,请使用&
:
mask = ((...) & (...))
逻辑或使用|
:
mask = ((...) | (...))
例如,
In [75]: df = pd.DataFrame({'A':range(5), 'B':range(10,20,2)})
In [76]: df
Out[76]:
A B
0 0 10
1 1 12
2 2 14
3 3 16
4 4 18
In [77]: mask = (df['A'].shift(1) + df['B'].shift(2) > 12)
In [78]: mask
Out[78]:
0 False
1 False
2 False
3 True
4 True
dtype: bool
In [79]: df[mask]
Out[79]:
A B
3 3 16
4 4 18
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.