如何通过重叠 Pandas 中的单热编码分类数据进行分组？

Question

我有一个游戏数据集，其中包含评论评分和游戏是否在出版物中出现的分类数据——将以下内容作为数据集的简化版本：

df = pd.DataFrame(
    {'titleName': ['game_A', 'game_B', 'game_C', 'game_D'],
    'reviewScore': [88.1, 70.3, 91.3, 66.1],
    'mediaAppearances': [['Pub_A', 'Pub_C'], ['Pub_B'], ['Pub_B', 'Pub_C'], ['Pub_A', 'Pub_B', 'Pub_C']]}
)

mediaAppearances 是一个分类特征，对任何记录都有多个潜在值 - 它捕获游戏是否出现在给定发布者的报告中。 该功能经过单热编码，为每个发布者生成离散的 boolean 列（即，如果游戏出现在该发布者上，则为“真”，否则为“假”）：

final_df = pd.concat([df,pd.get_dummies(df['mediaAppearances'].apply(pd.Series).stack()).groupby(level=0).sum()], axis=1)

这会产生以下 DataFrame：

标题名称	评分	媒体露面	酒吧A	发布者B	Pub_C
游戏_A	88.1	“Pub_A，Pub_C”	1个	0	1个
游戏_B	70.3	“酒吧_B”	0	1个	0
游戏_C	91.3	“Pub_B，Pub_C”	0	1个	1个
游戏_D	66.1	“Pub_A，Pub_B，Pub_C”	1个	1个	1个

我想按每个发布者对 DataFrame 进行分组，这样我就可以分析特定发布者推荐的游戏的 reviewScore。 最终结果应该有三组（其中 Pub_n 等于 True），其中可以进一步汇总/分析 reviewScore。

我可以按每个唯一的发布者独立过滤数据框，如下所示：

for publisher in ['Pub_A', 'Pub_B', 'Pub_C']:
    _mean = final_df[final_df[publisher] == True]['reviewScore'].mean()
    print(f"Mean reviewScore for games appearing in {publisher}: {_mean:.1f}")

Output：

Mean reviewScore for games appearing in Pub_A: 77.1  
Mean reviewScore for games appearing in Pub_B: 75.9  
Mean reviewScore for games appearing in Pub_C: 81.8

这适用于计算单个摘要统计信息； 然而，当尝试使用自定义聚合函数、一次分析多个汇总统计数据（例如使用 pandas 的 describe 函数）或在 Publisher 分组与其他数据集变量分组之间快速切换时，工作流程很繁琐。

理想情况下，我能够使用 Pandas 的标准 groupby 和聚合语法； 然而，由于 Publisher 值在对 mediaAppearance 变量进行单热编码后并不排斥，因此按 Publisher 列分组会产生一个笨重的矩阵，其中包含所有唯一的 True/False 组合

final_df.groupby(['Pub_A', 'Pub_B', 'Pub_C']).describe().reset_index()

Output：

酒吧A	发布者B	Pub_C	数数	意思是	标准	分钟	25%	50%	75%	最大限度
0	1个	0	1.0	70.3	钠盐	70.3	70.3	70.3	70.3	70.3
0	1个	1个	1.0	91.3	钠盐	91.3	91.3	91.3	91.3	91.3
1个	0	1个	1.0	88.1	钠盐	88.1	88.1	88.1	88.1	88.1
1个	1个	1个	1.0	66.1	钠盐	66.1	66.1	66.1	66.1	66.1

是否有一个 groupBy 查询会产生一个分组的 DataFrame 允许将聚合函数应用于整个帧而不是需要聚合单独过滤的数据帧？ 例如，是否有一个查询会为 pandas builtin describe function 生成以下内容？

出版商	数数	意思是	标准	分钟	25%	50%	75%	最大限度
酒吧A	2.0	77.1	15.6	66.1	71.6	77.1	82.6	88.1
发布者B	3.0	75.9	13.5	66.1	68.2	70.3	80.8	91.3
Pub_C	3.0	81.8	13.7	66.1	77.1	88.1	89.7	91.3

Answer 1

不使用 groupby，但这种替代方法可能会有所帮助。

在单热编码列中，您可以通过 reviewScore 更改“1”并删除“0”。 根据您的 final_df 版本：

输入：

final_df_2 = final_df.copy()
pub_list = ['Pub_A', 'Pub_B', 'Pub_C']

final_df_2[pub_list] = final_df_2[pub_list].replace(0, np.NAN)

for pub_n in pub_list:
    final_df_2[pub_n] = final_df_2[pub_n] * final_df_2['reviewScore']

final_df_2

Output：

    titleName   reviewScore mediaAppearances       Pub_A    Pub_B   Pub_C
0   game_A      88.10       [Pub_A, Pub_C]         88.10    NaN     88.10
1   game_B      70.30       [Pub_B]                NaN      70.30   NaN
2   game_C      91.30       [Pub_B, Pub_C]         NaN      91.30   91.30
3   game_D      66.10       [Pub_A, Pub_B, Pub_C]  66.10    66.10   66.10

然后使用描述：

输入：

final_df_2.describe()

Output：

        reviewScore Pub_A   Pub_B   Pub_C
count   4.00        2.00    3.00    3.00
mean    78.95       77.10   75.90   81.83
std     12.60       15.56   13.50   13.72
min     66.10       66.10   66.10   66.10
25%     69.25       71.60   68.20   77.10
50%     79.20       77.10   70.30   88.10
75%     88.90       82.60   80.80   89.70
max     91.30       88.10   91.30   91.30