遍历分组熊猫数据框的行以创建新列

Question

我是Python的新手，正在尝试与Pandas进行数据分析。

我想知道是否有人可以帮助我遍历数据框中的分组数据行以创建新变量。

假设我有一个名为data的数据框，如下所示：

+----+-----------+--------+
| ID | YearMonth | Status |
+----+-----------+--------+
|  1 |    201506 |      0 |
|  1 |    201507 |      0 |
|  1 |    201508 |      0 |
|  1 |    201509 |      0 |
|  1 |    201510 |      0 |
|  2 |    201506 |      0 |
|  2 |    201507 |      1 |
|  2 |    201508 |      2 |
|  2 |    201509 |      3 |
|  2 |    201510 |      0 |
|  3 |    201506 |      0 |
|  3 |    201507 |      1 |
|  3 |    201508 |      2 |
|  3 |    201509 |      3 |
|  3 |    201510 |      4 |
+----+-----------+--------+

每个ID有多个行，MonthYear的格式为yyyymm，Status是每个MonthYear的状态（取值0到6）

我已经创建了一些列以向我显示累计最大状态，以及一个ever3（向我显示一个ID是否曾经具有一个状态或3个或更多，而不管当前状态如何）指示器，如下所示：

data1['Max_Stat'] = data1.groupby(['Custno'])['Status'].cummax()

data1['Ever3'] = np.where(data1['Max_Stat'] >= 3, 1, 0)

我还想做的是创建其他列以创建指标，例如发生某事的次数或事件发生后的时间。 例如

• Times3Plus：显示该时间点ID的状态为3或更多的次数

• Into3：ID第一次状态为3或更大时设置为Y（以后不再使用）

+----+-----------+--------+----------+-------+------------+-------+
| ID | YearMonth | Status | Max_Stat | Ever3 | Times3Plus | Into3 |
+----+-----------+--------+----------+-------+------------+-------+
|  1 |    201506 |      0 |        0 |     0 |          0 |       |
|  1 |    201507 |      0 |        0 |     0 |          0 |       |
|  1 |    201508 |      0 |        0 |     0 |          0 |       |
|  1 |    201509 |      0 |        0 |     0 |          0 |       |
|  1 |    201510 |      0 |        0 |     0 |          0 |       |
|  2 |    201506 |      0 |        0 |     0 |          0 |       |
|  2 |    201507 |      1 |        1 |     0 |          0 |       |
|  2 |    201508 |      2 |        2 |     0 |          0 |       |
|  2 |    201509 |      3 |        3 |     1 |          1 | Y     |
|  2 |    201510 |      0 |        3 |     1 |          1 |       |
|  3 |    201506 |      0 |        0 |     0 |          0 |       |
|  3 |    201507 |      1 |        1 |     0 |          0 |       |
|  3 |    201508 |      2 |        2 |     0 |          0 |       |
|  3 |    201509 |      3 |        3 |     1 |          1 | Y     |
|  3 |    201510 |      4 |        4 |     1 |          2 |       |
+----+-----------+--------+----------+-------+------------+-------+

我可以使用BY和RETAIN语句在SAS中很容易地做到这一点，但无法弄清楚如何在Python中复制它。

Answer 1

我设法做到了这一点，而又没有遍历每一行，因为我不确定自己尝试做的事情是否可能。 我曾经想在SAS中在组级别设置计数器或指标，并逐行修改这些指标。 例如类似

Times3Plus=0
if row['Status'] >= 3:
    Times3Plus += 1
Return Times3Plus

最后，我创建了一个二进制3Plus指标

data['3Plus'] = np.where(data1['Status'] >= 3, 1, 0)

然后使用groupby总结这些内容以在组级别创建Times3Plus

data['Times3Plus'] = data.groupby(['ID'])['3Plus'].cumsum() 

然后可以使用函数填充Into3

def into3(row):
    if row['3Plus'] == 1 and row['Times3Plus'] == 1:  #i.e it is the first time
        return 1

 data['Into3'] = data.apply(into3, axis = 1)