繁体   English   中英

使用Kenlm的阴性结果

[英]Negative results using kenlm

我是语言建模的新手,并且使用kenlm (或this )从大型文本文件(〜7gb。)中制作了3grams语言模型。 我从我的语言模型制作一个二进制文件,并在python中这样调用它:

import kenlm
model = kenlm.LanguageModel(<my .klm file>)
model.score(<my sentence>)

我得到一个负数作为结果。当我改变得分的句子时,结果仍然是负数但改变了。我恰好给了它一个大文本文件句子,但给了我一个不好的负数(与a相比不包含在文本文件中的句子)我不知道否定结果是什么意思,以及如何将其转换为肯定和正常结果以在某些句子之间选择最正确的句子。

要获得介于0和1之间的相应分数:

import math
print(math.pow(10,model.score(<my sentence>)))

最终的负数为-9.585592,是句子的对数概率。 由于这是对数,因此需要计算10到该数字的幂,大约是2.60 x 10-10。 也许这是您要查找的正数。

更多信息在这里

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM