通过与连续组进行比较来过滤大熊猫分组

Question

我有一个这样的熊猫数据框：

In [5]: df
Out[5]:
       date1      date2
0 2015-01-01 2014-12-11
1 2015-01-01 2014-12-30
2 2015-01-01 2015-01-01
3 2015-01-02 2015-12-30
4 2015-01-02 2015-01-01
5 2015-01-02 2015-01-02
6 2015-01-03 2015-01-01
7 2015-01-03 2015-01-02
8 2015-01-03 2015-01-03

我想将此数据帧在date1上分组，然后通过date2 > = PREVIOUS组的date1的记录对每个组进行过滤（并且不会过滤掉date1最小的记录）。 我的最终目标是计算应用过滤器后每个组中剩余的项目数。

过滤将保留以下行：

       date1    date2
0 2015-01-01  2014-12-11
1 2015-01-01  2014-12-30
2 2015-01-02  2015-01-01
4 2015-01-02  2015-01-01
5 2015-01-02  2015-01-02
7 2015-01-03  2015-01-02
8 2015-01-03  2015-01-03

然后计数为：

    date1    count
0 2015-01-01 3
1 2015-01-02 2
2 2015-01-03 2

我可以得到如下组：

groups = df.sort('timestamp', ascending=False).groupby('timestamp')

但我想不出一种方法来进行过滤和计数，以便比较连续的组。

Answer 1

使用pd.merge_asof

pd.merge_asof(
    df, df[['date1']].assign(d_=df.date1),
    allow_exact_matches=False
).fillna(0).query('date2 >= d_').groupby('date1').size()

date1
2015-01-01    3
2015-01-02    2
2015-01-03    2
dtype: int64

---

说明

从文档

对于左侧DataFrame中的每一行，我们选择右侧DataFrame中“ on”键小于或等于左侧键的最后一行。 两个DataFrame必须按键排序。

所以我让df在date1上与自身合并，参数allow_exact_matches为False 。 这使我可以轻松访问“上一个群组”。

从那里开始，这是一个要过滤的query ， groupby + size来获取计数。

Answer 2

我想你可以创建Series s通过地图前值groups ，也是第一NaN值改为分 （更快fillna是使用at ）：

#if df is not sorted by column date1
df = df.sort_values('date1')

s = pd.Series(df.date1.values, index = df.date1).drop_duplicates().shift()
s.at[s.index[0]] = pd.Timestamp.min
print (s)
date1
2015-01-01   1677-09-21 00:12:43.145225
2015-01-02   2015-01-01 00:00:00.000000
2015-01-03   2015-01-02 00:00:00.000000
dtype: datetime64[ns]

然后groupby和过滤值，用于计数sum布尔掩码：

print (df.groupby('date1')['date2']
         .apply(lambda x: x[s[x.name] <= x])
         .reset_index(name='Count'))

       date1  level_1      Count
0 2015-01-01        0 2014-12-11
1 2015-01-01        1 2014-12-30
2 2015-01-01        2 2015-01-01
3 2015-01-02        3 2015-12-30
4 2015-01-02        4 2015-01-01
5 2015-01-02        5 2015-01-02
6 2015-01-03        7 2015-01-02
7 2015-01-03        8 2015-01-03

df = df.groupby('date1')['date2']
       .apply(lambda x: (s[x.name] <= x).sum())
       .reset_index(name='Count')

print (df)
       date1  Count
0 2015-01-01      3
1 2015-01-02      3
2 2015-01-03      2

Answer 3

我将首先创建一个名为previous_group的列，以便您可以直观地看到每个date1分组的前一组。

df['previous_group'] = df['date1'].drop_duplicates().shift(1)
df['previous_group'] = df['previous_group'].fillna(method='ffill')

产量

注意：我将第3行的date2更改为2014年，这是我认为您想要的。

       date1      date2 previous_group
0 2015-01-01 2014-12-11            NaT
1 2015-01-01 2014-12-30            NaT
2 2015-01-01 2015-01-01            NaT
3 2015-01-02 2014-12-30     2015-01-01
4 2015-01-02 2015-01-01     2015-01-01
5 2015-01-02 2015-01-02     2015-01-01
6 2015-01-03 2015-01-01     2015-01-02
7 2015-01-03 2015-01-02     2015-01-02
8 2015-01-03 2015-01-03     2015-01-02

筛选出行

然后，您可以使用布尔索引过滤掉不需要的行，仅保留那些符合条件的行，以及每次都具有缺失值的第一组。

df1 = df[(df['date2'] >= df['previous_group']) | df['previous_group'].isnull()]

产量

       date1      date2 previous_group
0 2015-01-01 2014-12-11            NaT
1 2015-01-01 2014-12-30            NaT
2 2015-01-01 2015-01-01            NaT
4 2015-01-02 2015-01-01     2015-01-01
5 2015-01-02 2015-01-02     2015-01-01
7 2015-01-03 2015-01-02     2015-01-02
8 2015-01-03 2015-01-03     2015-01-02

计算日期

然后，您可以使用value_counts来计算日期

df1['date1'].value_counts()

产量

2015-01-01    3
2015-01-03    2
2015-01-02    2

因此总共是：

df['previous_group'] = df['date1'].drop_duplicates().shift(1)
df['previous_group'] = df['previous_group'].fillna(method='ffill')
df1 = df[(df['date2'] >= df['previous_group']) | df['previous_group'].isnull()]
df1['date1'].value_counts()