Scikit-具有布尔值和特征选择的多项式回归

Question

我试图根据一组特征X预测变量y，其中X开头为36个特征。 我对此有两个问题：

1. 创建多项式特征时如何处理布尔属性（0,1）？ 例如，对它们进行平方无意义。

到目前为止，我拥有的代码：

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X_train)

2. 如何进行多项式回归的特征选择？ 因为为36个变量创建2阶多项式特征，会极大地增加X的大小。 例如，是否有一种方法可以运行选择以返回基于MSE的最佳模型？

Answer 1

1. 没错，对布尔特征进行平方没有意义。 一种解决方案是将PolynomialFeatures与选项interact_only = True一起使用，这样您就只能得到他们的产品。 对于布尔值，乘积实际上是AND。 您也可以编写自己的函数以获取其他组合，例如OR或XOR。

2. 根据原始特征的数量，对所有可能的特征组合执行详尽搜索可能会或可能不会很耗时。 我想是后一种情况。 然后你可以：

a）使用自动执行变量选择的LASSO回归 （或弹性网 ）

b）出于相同原因尝试基于树的方法（例如， 随机森林 ）

c）尝试一些特征选择方法（例如， 卡方 ）