python中最有效的直方图代码

Question

我已经看到了很多有关在干净的单线图中制作直方图的问题，但是我还没有找到任何人试图尽可能高效地制作直方图。 我目前正在为搜索算法创建许多tfidf向量，这涉及到创建许多直方图和当前代码，但是非常简短且可读性不如我想要的快。 可悲的是，我尝试了许多其他方法，但结果却慢得多。 你可以做得更快吗？ cleanStringVector是一个字符串列表（全部为小写，没有标点符号），而masterWordList也是一个单词列表，其中应包含cleanStringVector中的每个单词。

from collections import Counter
def tfidfVector(cleanStringVector, masterWordList):
    frequencyHistogram = Counter(cleanStringVector)
    featureVector = [frequencyHistogram[word] for word in masterWordList]
    return featureVector

值得一提的是，Counter对象针对不存在的键返回零而不是引发KeyError的事实是一个严重的加法，其他问题中的大多数直方图方法均未通过该测试。

示例：如果我有以下数据：

["apple", "orange", "tomato", "apple", "apple"]
["tomato", "tomato", "orange"]
["apple", "apple", "apple", "cucumber"]
["tomato", "orange", "apple", "apple", "tomato", "orange"]
["orange", "cucumber", "orange", "cucumber", "tomato"]

和一个主要的词表：

["apple", "orange", "tomato", "cucumber"]

我想分别从每个测试用例返回以下内容：

[3, 1, 1, 0]
[0, 1, 2, 0]
[3, 0, 0, 1]
[2, 2, 2, 0]
[0, 2, 1, 2]

希望对您有所帮助。

大致的最终结果：

Original Method: 3.213
OrderedDict: 5.529
UnorderedDict: 0.190

Answer 1

使用Python 3，这在我的代表性微基准测试中的运行时间提高了1个数量级。

mapping = dict((w, i) for i, w in enumerate(masterWordList))

def tfidfVector(cleanStringVector, masterWordList):    
    featureVector = [0] * len(masterWordList)
    for w in cleanStringVector:
        featureVector[mapping[w]] += 1
    return featureVector

Answer 2

我认为循环遍历Master Word列表是一个问题。 每次创建直方图时，您都必须对主单词列表中的每个单词进行哈希处理（这些哈希值中的大多数都丢失了，这是一种返回0的计算量大的方法）。

我将首先对主单词列表进行哈希处理，然后使用该哈希值创建每个直方图，这样，您只需要对字符串向量中的每个单词进行哈希处理（两次，一次获取计数，一次重置主单词列表哈希）。 如果字符串向量小于主单词列表，则将导致更少的哈希运算：

from itertools import repeat

stringvecs=[["apple", "orange", "tomato", "apple", "apple"],
["tomato", "tomato", "orange"],
["apple", "apple", "apple", "cucumber"],
["tomato", "orange", "apple", "apple", "tomato", "orange"],
["orange", "cucumber", "orange", "cucumber", "tomato"]]

m=["apple", "orange", "tomato", "cucumber"]

md = dict(zip(m, repeat(0)))

def tfidfVector(stringvec, md):
    for item in stringvec:
        md[item]+=1
    out=md.values()
    for item in stringvec:
        md[item]=0
    return out

for stringvec in stringvecs:
    print tfidfVector(stringvec, md)

注意：只要我们不添加键，md.values（）应该是稳定的。