如何减少文本分类中的功能数量？

Question

我正在做方言文本分类，并且我在朴素的贝叶斯上使用了countVectorizer。 功能的数量太多，我收集了4万种方言的2万条推文。 每个方言都有5000条推文。 并且功能总数为43K。 我当时在想，也许这就是为什么我会过拟合。 因为当我对新数据进行测试时，准确性下降了很多。 那么，如何确定功能数量以避免数据过度拟合？

Answer 1

例如，您可以将参数max_features设置为5000，这可能有助于过度拟合。 您还可以修改max_df （例如将其设置为0.95）

Answer 2

测试数据的下降是由于维数的诅咒造成的。 您可以使用某些降维方法来减少这种影响。 可能的选择是在sklearn中实现的潜在语义分析。