Groupby 和 count 具有多个值的列

Question

鉴于此数据框：

df = pd.DataFrame({
    "names": [["Kevin, Jack"], ["Antoine, Mary, Johanne, Iv"], ["Ali"]],
    "commented": [["Kevin, Antoine, Iv"], ["Antoine, Mary, Ali"], ["Mary, Jack"]],
}, index=["1", "2", "3"])

看起来像这样：

    names   commented
1   [Kevin, Jack]   [Kevin, Antoine, Iv]
2   [Antoine, Mary, Johanne, Iv]    [Antoine, Mary, Ali]
3   [Ali]   [Mary, Jack]

我想获得一个新的数据框，它将计算所有人发表的所有评论。 就像是：

	凯文	杰克	安托万	玛丽	约翰妮	Ⅳ	阿里
凯文	1	0	1	0	0	1	0
杰克	1	0	1	0	0	1	0
安托万	0	0	1	1	0	0	1
玛丽	0	0	1	1	0	0	1
约翰妮	0	0	1	1	0	0	1
Ⅳ	0	0	1	1	0	0	1
阿里	0	1	0	1	0	0	0

这个数据框可能太小而无法理解，但我的原始数据框是 100k 行，并且会有高于 0 和 1 的数字。

我已经查看了使用 pivot_table 和 group by 的几种变体的各种选项，但我似乎无法弄清楚这一点。

df.pivot_table(index = 'names', columns= 'commented', aggfunc= 'count')

df.groupby('names').commented.apply(list).reset_index()
df.explode('names')['commented'].value_counts()

df.set_index('names').apply(pd.Series.explode).reset_index()

我尝试过的几乎所有解决方案都给我错误： TypeError: unhashable type: 'list'

Answer 1

您可以尝试将字符串列表分解为行，然后使用pandas.crosstab

df = (df.explode(df.columns.tolist())
      .apply(lambda col: col.str.split(', '))
      .explode('names')
      .explode('commented'))

out = pd.crosstab(df['names'], df['commented'])

print(df)

     names commented
1    Kevin     Kevin
1    Kevin   Antoine
1    Kevin        Iv
1     Jack     Kevin
1     Jack   Antoine
1     Jack        Iv
2  Antoine   Antoine
2  Antoine      Mary
2  Antoine       Ali
2     Mary   Antoine
2     Mary      Mary
2     Mary       Ali
2  Johanne   Antoine
2  Johanne      Mary
2  Johanne       Ali
2       Iv   Antoine
2       Iv      Mary
2       Iv       Ali
3      Ali      Mary
3      Ali      Jack

print(out)

commented  Ali  Antoine  Iv  Jack  Kevin  Mary
names
Ali          0        0   0     1      0     1
Antoine      1        1   0     0      0     1
Iv           1        1   0     0      0     1
Jack         0        1   1     0      1     0
Johanne      1        1   0     0      0     1
Kevin        0        1   1     0      1     0
Mary         1        1   0     0      0     1

Answer 2

在您的示例输入中， names和commented列中的每个元素都是一个只有 1 个元素（字符串）的数组。 不确定您的真实数据是否如此。

您可以用逗号分割每个字符串，然后分解和旋转数据框：

split = lambda x: x[0].split(", ")
(
    df.assign(
        names=df["names"].apply(split),
        commented=df["commented"].apply(split),
        dummy=1
    )
    .explode("names")
    .explode("commented")
    .pivot_table(index="names", columns="commented", values="dummy", aggfunc="count", fill_value=0)
)

Answer 3

这是使用str.get_dummies()的另一种方法

(df.assign(names = df['names'].str[0].str.split(', '))
.explode('names')
.set_index('names')
.squeeze()
.str[0]
.str.get_dummies(sep=', '))

输出：

         Ali  Antoine  Iv  Jack  Kevin  Mary
names                                       
Kevin      0        1   1     0      1     0
Jack       0        1   1     0      1     0
Antoine    1        1   0     0      0     1
Mary       1        1   0     0      0     1
Johanne    1        1   0     0      0     1
Iv         1        1   0     0      0     1
Ali        0        0   0     1      0     1