如何解释Python NLTK bigram似然比？

Question

考虑到下面的代码（取自该问题 ），我试图找出如何正确解释nltk的“可能性比”。

import nltk.collocations
import nltk.corpus
import collections

bgm = nltk.collocations.BigramAssocMeasures()
finder = nltk.collocations.BigramCollocationFinder.from_words(nltk.corpus.brown.words())
scored = finder.score_ngrams(bgm.likelihood_ratio)

# Group bigrams by first word in bigram.                                        
prefix_keys = collections.defaultdict(list)
for key, scores in scored:
    prefix_keys[key[0]].append((key[1], scores))

for key in prefix_keys:
    prefix_keys[key].sort(key = lambda x: -x[1])

prefix_keys['baseball']

具有以下输出：

[('game', 32.11075451975229),
 ('cap', 27.81891372457088),
 ('park', 23.509042621473505),
 ('games', 23.10503351305401),
 ("player's", 16.22787286342467),
 ('rightfully', 16.22787286342467),
[...]

看一下文档 ，看起来像印在每个二元组旁边的似然比来自

“使用似然比对Mangram和Schutze 5.3.4进行评分。”

参考这篇文章 ，在pg。 22：

似然比的优点之一是它们具有清晰直观的解释。 例如，在计算机比其基本发生率所暗示的更可能遵循强大功能的假设下，强大的bigram计算机的e ^（。5 * 82.96）= 1.3 * 10 ^ 18倍的可能性更高。 这个数字比我们必须在表中查找的t检验或2检验的分数更容易解释。

如果我将上面提到的nltk代码与自己的数据一起使用，我会感到困惑的是“基本发生率”。 例如，可以肯定地说，在当前数据集中，“游戏”出现在“棒球”旁边的可能性是标准英语平均使用情况的32倍吗？ 还是在同一组数据中，“游戏”出现在“棒球”旁边而不是其他单词出现在“棒球”旁边？

感谢您提供任何有助于更清晰地解释或举例的帮助/指导！

Answer 1

nltk没有通用的英语用法语料库，不能以此来模拟“棒球”之后“游戏”的可能性。

可能性分数反映了这些结果中的每一个在语料库中的可能性，其前面是单词“棒球”。

基本发生率将描述在整个语料库中棒球比赛之后单词游戏发生的频率，而无需考虑在整个语料库中棒球或比赛的频率。

nltk.corpus.brown 

是内置的语料库或一组观察值，任何基于概率的模型的预测能力完全由用于构建或训练它的观察值定义。

更新以回应OP评论：

与32％的“游戏”发生率相比，“棒球”发生率高。 这在某种程度上具有误导性，并且似然分数不能直接模拟二元组的频率分布。

nltk.collocations.BigramAssocMeasures().raw_freq

用t检验对原始频率进行建模，因为t检验不太适合于稀疏数据（例如双字母组），因此提供了似然比。

由Manning和Schutze计算的似然比不等于频率。

https://nlp.stanford.edu/fsnlp/promo/colloc.pdf

第5.3.4节详细介绍了其计算方法。

他们以一种非常适合稀疏矩阵（如语料库矩阵）的方式，考虑了文档中单词一的出现频率，文档中单词二的出现频率以及文档中的双字组的出现频率。

如果您熟悉TF-IDF矢量化方法，则此比率的目标是在标准化噪声特征方面达到相似的目的。

分数可以无限大。 分数之间的相对差异反映了我刚刚描述的那些输入（单词1，单词2和word1word2的语料频率）。

除非您是统计学家，否则此图表是他们说明中最直观的部分：

似然度分数被计算为最左列。