python中的Lambda函数

Question

在NLTK工具包中，我尝试使用lambda函数来过滤结果。

我有一个test_file和一个terms_file

我正在做的是使用NLTK中的似然比来对多词术语进行排序。 但是，这里的输入是多词术语的引理，因此我创建了一个函数，该函数从每个多词术语中提取其引理，然后在lambda函数中引入引理。

所以看起来像这样

text_file = myfile
terms_file= myfile
def lem(file):
    return lemma for each term in the file

我的问题在这里

我如何在过滤器中调用此函数，因为执行以下操作无法正常工作。

finder = BigramCollocationFinder.from_words(text_file)
finder.apply_ngram_filter(lambda *w: w not in lem(terms_file))
finder.score_ngrams(BigramAssocMeasures.likelihood_ratio)
print(finder)

还与迭代不起作用

   finder.apply_ngram_filter(lambda *w: w not in [x for x in lem(terms_file)]) 

Answer 1

（这是一个疯狂的猜测，但是我非常有信心这是造成您问题的原因。

从伪代码来看， lem函数在文件句柄上运行，从该文件中读取一些信息。 您需要了解文件句柄是一个迭代器，并且在迭代一次时将被耗尽 。 也就是说，第一次调用lem可以正常工作，但是随后完全读取了文件，进一步的调用不会产生任何结果。

因此，我建议将lem的结果存储在列表中。 这也应该比一次又一次地读取文件快得多。 尝试这样的事情：

all_lemma = lem(terms_file) # temporary variable holding the result of `lem`
finder.apply_ngram_filter(lambda *w: w not in all_lemma)

你行finder.apply_ngram_filter(lambda *w: w not in [x for x in lem(terms_file)])不起作用，因为虽然这从结果创建一个列表lem ，它每个时间这样做lambda被执行，所以最终会遇到同样的问题。

（不确定apply_ngram_filter作用，因此此后可能会有更多问题。）

---

更新：从另一个问题来看， lem本身就是一个生成器函数。 在这种情况下，您必须将结果显式转换为列表。 否则，当该发电机耗尽时，您将遇到同样的问题。

all_lemma = list(lem(terms_file))

如果由lem产生的元素是可哈希的，则还可以创建一个set而不是列表，即all_lemma = set(lem(terms_file)) ; 这将使filter的查找更快。

Answer 2

如果我理解您的意思， lem(terms_file)将返回引理列表。 但是“引理”是什么样的呢？ apply_ngram_filter()仅在每个“引理”都是正好两个单词的元组时才起作用。 如果确实如此，那么在按照@tobias_k的建议修复文件输入之后，您的代码应该可以工作。

即使您的代码有效， lem()的输出也应存储为一个集合，而不是列表。 否则，您的代码将会非常慢。

all_lemmas = set(lem(terms_file))

但我不太确定上述假设是否正确。 为什么所有引理都恰好是两个字长？ 我猜“ lemmas”是一个单词长，您打算丢弃包含不在列表中的单词的任何ngram。 如果是这样，则需要apply_word_filter() ，而不是apply_ngram_filter() 。 请注意，它需要一个参数（一个单词），因此应这样写：

finder.apply_word_filter(lambda w: w not in all_lemmas)