從功能集中選擇集合功能

Question

我有一個關於合奏特征選擇的問題。

我的數據集由1000個樣本組成，具有約30000個特征，它們分為標簽A或標簽B.我想要做的是選擇一些可以有效分類標簽的特征。

我使用了三種方法，單變量方法（Pearson系數），套索回歸和SVM-RFE（遞歸特征消除），所以我從中得到了三個特征集。 我使用python scikit-learn進行特征選擇。

然后我想到集合特征選擇方法，因為特征的大小是如此之大。 在這種情況下，使用3個功能集制作集成子集的方法是什么？

我能想到的是采用集合並再次使用套索回歸或SVM-RFE，或者只是采用集合的交集。

任何人都可以提出想法嗎？

Answer 1

我猜你做的事情取決於你以后如何使用這些功能。 如果你的目標是“有效地對標簽進行分類”，你可以做的一件事就是使用你的分類算法（即SVC，Lasso等）作為包裝器，並使用交叉驗證進行遞歸特征消除（RFE） 。

您可以從您使用的前三種方法的特征聯合開始，或從頭開始為您想要適合的給定類型的模型開始，因為示例的數量很少。 無論如何，我認為在您的案例中選擇功能的最佳方法是選擇優化目標的方法，這似乎是分類准確性，因此是CV提案。