Python：具有比率的不平衡数据的分层抽样

Question

这是我的数据框：

df = pd.DataFrame({'var1': [1,2,3,4,5,6,7,8,9,10,11,12,13,14],
                   'var2': ['a','a','a','a','b','b','b','b','b','b','b','c','d','d'],
                   'var3': ['y','y','y','y','r','r','r','r','r','r','r','q','q', 'r'],
                   'var4': [0,1,0,0,1,1,0,0,0,0,0,0,0,0]})

因为 var4 是不平衡的。 我var4 = 0根据组var2和var3获取每个var4 = 1和两倍数量的var4 = 0 。 结果，组“a”“y”将有一个“1”和两个“0”； 组 'b''r' 将有两个 '1' 和 4 '0'。 其他组将没有。 看起来像下面的一个：

df_sampled = pd.DataFrame({'var1': [1,2,3,5,6,7,8,10,11],
                   'var2': ['a','a','a','b','b','b','b','b','b'],
                   'var3': ['y','y','y','r','r','r','r','r','r'],
                   'var4': [0,1,0,1,1,0,0,0,0]})

我试图找出每组 var4=1 的大小：

df.var4 = df.var4.mask(df.var4.ne(1))
dd = df.groupby(['var2', 'var3']).var4.count().tolist()

我还尝试使用sample()在列表 dd 上运行：

df.loc[df['var4'] == 0].groupby(['var2','var3'], group_keys=False).apply(lambda x: x.sample(dd))

但是，它不起作用。 有什么建议？

Answer 1

让我们试试这个方法。 对df进行排序以将所有1推到顶部。 cumcount在var1和var2 groupby 上用作计数器。 获取每组的总和（因为var4值只有0和1 ，每组的总和是每组中1的数量）。 最后，对计数器小于或等于总和两倍的行进行切片。

df = df.sort_values('var4', ascending=False)
gb = df.groupby(['var2', 'var3'])
s = gb.cumcount().add(1)
s1 = gb.var4.transform('sum')
df_final =  df[(s - s1) <= (s1 * 2)].sort_index()

Out[1758]:
   var1 var2 var3  var4
0     1    a    y     0
1     2    a    y     1
2     3    a    y     0
4     5    b    r     1
5     6    b    r     1
6     7    b    r     0
7     8    b    r     0
8     9    b    r     0
9    10    b    r     0