如何減少Scikit-Learn Vectorizers的內存使用量？

Question

TFIDFVectorizer占用了大量內存，向量化470 MB的100k文檔需要超過6 GB，如果我們去2100萬個文檔，它將不適合我們擁有的60 GB RAM。

所以我們去HashingVectorizer，但仍然需要知道如何分發散列矢量器.Fit和partial fit什么都不做，所以如何使用Huge Corpus？

Answer 1

我強烈建議您在大型數據集上擬合模型時使用HashingVectorizer 。

HashingVectorizer與數據無關，只有來自vectorizer.get_params()的參數很重要。 因此（un）酸洗`HashingVectorizer實例應該非常快。

基於詞匯的矢量化器更適合於小型數據集的探索性分析。

Answer 2

克服HashingVectorizer無法解釋IDF的一種方法是將數據索引到elasticsearch或lucene，並從那里檢索termvectors，使用它們可以計算Tf-IDF。