按列值过滤时间序列 pandas dataframe

Question

这个问题是这个问题的附加问题： filter multi-indexed grouped pandas dataframe

我希望从大于零的第一个value开始的date之后的所有数据（按时间）。 （适用于每个id ）

示例输入数据：

id  timestamp   date        value
1   2001-01-01  2001-05-01  1
1   2001-10-01  2001-05-01  0
1   2001-10-02  2001-05-01  1
1   2001-10-03  2001-05-01  0
1   2001-10-04  2001-05-01  1

想要的 Output 数据示例：

id  timestamp   date        value
1   2001-10-02  2001-05-01  1
1   2001-10-03  2001-05-01  0
1   2001-10-04  2001-05-01  1

Answer 1

首先按Series.gt过滤另一列，然后创建GroupBy.cumsum ，过滤大于0并最后添加删除的值DataFrame.reindex ：

df['timestamp'] = pd.to_datetime(df['timestamp'])
df['date'] = pd.to_datetime(df['date'])
df = df.sort_values(['id','timestamp'])

m = df['timestamp'].gt(df['date'])
m1 = df[m].groupby('id')['value'].cumsum().gt(0).reindex(df.index, fill_value=False)
df = df[m1]
print (df)
   id  timestamp       date  value
2   1 2001-10-02 2001-05-01      1
3   1 2001-10-03 2001-05-01      0
4   1 2001-10-04 2001-05-01      1

用Series.where替换列的另一个想法：

df['timestamp'] = pd.to_datetime(df['timestamp'])
df['date'] = pd.to_datetime(df['date'])
df = df.sort_values(['id','timestamp'])

m = df['timestamp'].gt(df['date'])
m1 = df.assign(value = df['value'].where(m, 0)).groupby('id')['value'].cumsum().gt(0)
df = df[m1]
print (df)
   id  timestamp       date  value
2   1 2001-10-02 2001-05-01      1
3   1 2001-10-03 2001-05-01      0
4   1 2001-10-04 2001-05-01      1