python中的TF-Idf计算

Question

我是python的新手，我想编写一个函数，该函数在给定两个参数的情况下计算术语频率反文档频率。

参数：docs ........列表列表，其中每个子列表包含一个文档的标记。 doc_freqs ... dict从术语到文档的频率（特定术语有多少个文档）。

所需输出：

index = create_tfidf_index([['a', 'b', 'a'], ['a']], {'a': 2., 'b': 1., 'c': 1.})
index['a']
[[0, 0.0], [1, 0.0]]
index['b']  
[[0, 0.301...]]

我的代码来找到doc_freq（tfidf函数中的第二个参数）

def count_doc_frequencies(docs):
    tmp = []
    lst = {}
    for item in docs: tmp += set(item)
    for key in tmp: lst[key] = lst.get(key, 0) + 1
    return lst

res = Index().count_doc_frequencies([['a', 'b', 'a'], ['a', 'b', 'c'], ['a']])
res['a']
3

现在任何人都可以帮助我如何使用上述两个参数计算tf-idf并产生如图所示的输出。

请帮助大家！！！

Answer 1

除非您必须为考试编写自己的函数，否则我将使用scikit-learn进行此操作。

这是一个不错的教程 。

官方文档也相当不错。 它演示了标记化和实际的tf-idf计算 。

希望这会有所帮助。