Python 3 Pandas：如何找到一列的行元素子集与另一列的元素之间的关系？

Question

我不确定我是否正确地表达了这个问题。 如果我没有，请告诉我，我会相应地更正。 我手头的问题是我有以下格式的电影评论 pandas dataframe：

... ... Sentence              Feeling
... ... "I believe I like..." "Positive"
... ... "I would like to..."  "Negative"
... ... "It is great but..."  "Neutral"

我想做的是在“句子”中设置一组所有单个单词，并计算与“感觉”列相关的使用次数。 例如：

Word "great" has been used in 1 negative sentence, 2 neutral, and 17 positive

是否有我可以使用的 pandas 命令链？

Answer 1

这是一个想法，它没有完全充实，但也许它有帮助......

在下面，我使用了这个示例 DataFrame df ，只是为了有一些东西可以使用：

                         Sentence   Feeling
0                I believe I like  Positive
1                 I would like to  Negative
2            This is not good but   Neutral
3                       Very good  Positive
4                 It is great but   Neutral
5                 It is very good  Positive
6   Not bad, but not great either   Neutral
7                       Bad stuff  Negative
8                   Not that good  Positive
9                 I don't like it  Negative
10               I believe I like  Positive

这个

from collections import Counter

df['Count'] = df['Sentence'].str.lower().str.split().agg(set).agg(Counter)
counts = df[['Count', 'Feeling']].groupby('Feeling').agg(sum).to_dict()
counts = counts['Count']

给你（ print(counts) ）：

{'Negative': Counter({'like': 2,
                      'i': 2,
                      'to': 1,
                      'would': 1,
                      'stuff': 1,
                      'bad': 1,
                      "don't": 1,
                      'it': 1}),
 'Neutral': Counter({'but': 3,
                     'is': 2,
                     'not': 2,
                     'great': 2,
                     'this': 1,
                     'good': 1,
                     'it': 1,
                     'bad,': 1,
                     'either': 1}),
 'Positive': Counter({'good': 3,
                      'believe': 2,
                      'like': 2,
                      'i': 2,
                      'very': 2,
                      'it': 1,
                      'is': 1,
                      'that': 1,
                      'not': 1})}

显示的计数应与您要查找的数字相对应。

一些解释：这

df['Sentence'].str.lower().str.split().agg(set)

转换句子

1. 小写，以确保计数准确，
2. 然后将它们拆分为单词列表（沿空格），
3. 最后将列表转换为集合以避免重复计算

0                  {like, i, believe}
1                {like, to, i, would}
2          {good, not, but, this, is}
...

.agg(Counter)然后将计数器class 应用于集合

0                     {'like': 1, 'believe': 1, 'i': 1}
1              {'like': 1, 'would': 1, 'i': 1, 'to': 1}
2     {'good': 1, 'is': 1, 'this': 1, 'but': 1, 'not...
...

这个

df[['Count', 'Feeling']].groupby('Feeling').agg(sum)

然后将子帧df[['Count', 'Feeling']]沿Feeling列分组，并通过添加计数器来聚合组。 结果是每个Feeling一个计数器，并且相应的字数表示该单词出现在多少个句子中。

rest 只是提取最终的 output （通过.to_dict()在字典中转换并丢弃不必要的第一层）。