从Pandas DataFrame中选择有限值的最新索引的有效方法？

Question

我正在尝试找到最近的索引，其值不是相对于当前索引的“NaN”。 所以，假设我有一个带有'NaN'值的DataFrame，如下所示：

       A       B       C
0    2.1     5.3     4.7
1    5.1     4.6     NaN
2    5.0     NaN     NaN
3    7.4     NaN     NaN
4    3.5     NaN     NaN
5    5.2     1.0     NaN
6    5.0     6.9     5.4
7    7.4     NaN     NaN
8    3.5     NaN     5.8

如果我目前在索引4，我有值：

       A       B       C
4    3.5     NaN     NaN

我想知道'B'相对于索引4的最后已知值，它在索引1 ：

       A       B       C
1    5.1   -> 4.6    NaN

我知道我可以使用以下内容获取所有具有NaN值的索引的列表：

indexes = df.index[df['B'].apply(np.isnan)]

但是在大型数据库中这似乎效率低下。 有没有办法只相对于当前指数tail最后一个？

Answer 1

您可以尝试这样的方法，将index转换为与列B具有相同NaN值的系列，然后使用ffill() ，其中包含所有后续NaN的最后一个非缺失索引：

import pandas as pd
import numpy as np
df['Last_index_notnull'] = df.index.to_series().where(df.B.notnull(), np.nan).ffill()
df['Last_value_notnull'] = df.B.ffill()
df

现在在索引4 ，您知道最后一个非缺失值是4.6 ，索引是1 。

Answer 2

一些有用的方法来了解

last_valid_index
first_valid_index
对于索引4列B

df.B.ix[:4].last_valid_index()

1

您可以通过这种方式将其用于所有列

pd.concat([df.ix[:i].apply(pd.Series.last_valid_index) for i in df.index],
          axis=1).T