使用 Pandas 计算具有特定条件的最近行的天数差异

Question

我有一个像这样的 dataframe：

import pandas as pd

data = [['A', '2022-09-01', False, 2], ['A', '2022-09-02', False, 4], ['A', '2022-09-03', True, 5],
        ['A', '2022-09-05', False, 1], ['A', '2022-09-06', False, 2], ['A', '2022-09-07', False, 5],
        ['A', '2022-09-17', False, 3], ['A', '2022-09-19', True, 2], ['A', '2022-09-20', False, 2],
        ['B', '2022-09-04', False, 4], ['B', '2022-09-06', True, 1], ['B', '2022-09-16', False, 6],
        ['B', '2022-09-17', False, 2], ['B', '2022-09-18', True, 4], ['B', '2022-09-19', False, 2]]
df = pd.DataFrame(data = data, columns = ['group', 'date', 'indicator', 'value'])

   group        date  indicator  value
0      A  2022-09-01      False      2
1      A  2022-09-02      False      4
2      A  2022-09-03       True      5
3      A  2022-09-05      False      1
4      A  2022-09-06      False      2
5      A  2022-09-07      False      5
6      A  2022-09-17      False      3
7      A  2022-09-19       True      2
8      A  2022-09-20      False      2
9      B  2022-09-04      False      4
10     B  2022-09-06       True      1
11     B  2022-09-16      False      6
12     B  2022-09-17      False      2
13     B  2022-09-18       True      4
14     B  2022-09-19      False      2

我想添加一个名为diff_days的列，它显示每组具有indicator = True和 rest 的行的天数差异。 请注意，在某些组中，可能有两行indicator = True ，所以我希望在最近的行中存在天数差异。 在这里可以看到想要的output：

data = [['A', '2022-09-01', False, 2, -2], ['A', '2022-09-02', False, 4, -1], ['A', '2022-09-03', True, 5, 0],
        ['A', '2022-09-05', False, 1, 2], ['A', '2022-09-06', False, 2, 3], ['A', '2022-09-07', False, 5, 4],
        ['A', '2022-09-17', False, 3, -2], ['A', '2022-09-19', True, 2, 0], ['A', '2022-09-20', False, 2, 1],
        ['B', '2022-09-04', False, 4, -2], ['B', '2022-09-06', True, 1, 0], ['B', '2022-09-16', False, 6, -2],
        ['B', '2022-09-17', False, 2, -1], ['B', '2022-09-18', True, 4, 0], ['B', '2022-09-19', False, 2, 1]]
df_desired = pd.DataFrame(data = data, columns = ['group', 'date', 'indicator', 'value', 'diff_days'])

   group        date  indicator  value  diff_days
0      A  2022-09-01      False      2         -2
1      A  2022-09-02      False      4         -1
2      A  2022-09-03       True      5          0
3      A  2022-09-05      False      1          2
4      A  2022-09-06      False      2          3
5      A  2022-09-07      False      5          4
6      A  2022-09-17      False      3         -2
7      A  2022-09-19       True      2          0
8      A  2022-09-20      False      2          1
9      B  2022-09-04      False      4         -2
10     B  2022-09-06       True      1          0
11     B  2022-09-16      False      6         -2
12     B  2022-09-17      False      2         -1
13     B  2022-09-18       True      4          0
14     B  2022-09-19      False      2          1

如您所见，这取决于date （以天为单位）与indicator = True的date之间的接近程度。 所以我想知道是否有人知道如何计算每组条件下最近几天的天数差异？

Answer 1

您可以 go 与merge_asof 。 在 df 上执行它，仅在指示列中具有 True 的行。 然后您可以计算同一组内与该组最接近的真实日期的天数差异。

# need datetime column
df['date'] = pd.to_datetime(df['date'])

res = (
    pd.merge_asof(df.sort_values('date'), 
                  df.loc[df['indicator'], ['group','date']].sort_values('date')
                    .assign(diff_days=lambda x: x['date']), 
                  by='group', on='date', direction='nearest')
      .assign(diff_days=lambda x: (x['date']-x['diff_days']).dt.days)
      .sort_values(['group','date'])
      .reset_index(drop=True)
)
print(res)
#    group       date  indicator  value  diff_days
# 0      A 2022-09-01      False      2         -2
# 1      A 2022-09-02      False      4         -1
# 2      A 2022-09-03       True      5          0
# 3      A 2022-09-05      False      1          2
# 4      A 2022-09-06      False      2          3
# 5      A 2022-09-07      False      5          4
# 6      A 2022-09-17      False      3         -2
# 7      A 2022-09-19       True      2          0
# 8      A 2022-09-20      False      2          1
# 9      B 2022-09-04      False      4         -2
# 10     B 2022-09-06       True      1          0
# 11     B 2022-09-16      False      6         -2
# 12     B 2022-09-17      False      2         -1
# 13     B 2022-09-18       True      4          0
# 14     B 2022-09-19      False      2          1