LASSO 为何无法进行特征选择？

Question

我在做 ML 项目时遇到了问题。 希望能得到你的一些建议！

我在一个只有 15 个特征的数据集上拟合了逻辑 LASSO，试图预测一个二元结果。 我知道 LASSO 应该进行特征选择并消除不重要的特征（系数 = 0），但在我的分析中，它选择了所有特征并且没有消除其中任何一个。 我的问题是：

1. 这是因为我的特征太少，还是特征彼此不相关（低共线性？）
2. 这对于分类 model 是坏事还是好事？
3. LASSO 选择的一些特征系数小于 0.1，我可以将它们解释为对 model 不重要还是不那么重要？

ps 我在 python 中使用 sklearn package 运行 model。

谢谢！

Answer 1

Lasso 没有失败地执行特征选择。 它只是确定了这 15 个特征中没有一个是不重要的。 对于您获得系数 = 0.1 的那个，这仅意味着与其他更重要的特征相比，它们不那么重要。 所以我不会担心！

另外 15 个特征对于 Lasso 确定重要特征的数量并不多。 我的意思是它取决于数据，因此对于某些数据集，它可以从 10 个特征的数据集中消除一些特征，有时它不会从 20 个特征的数据集中消除任何特征。这仅取决于数据！

干杯!