找到最好的预测器

Question

我正在寻找一种方法来找到预测 output 的最佳预测变量集。 在预测变量 pi 的权重 wi 为 1 或 0 的约束下。我知道我不能使用经典的线性回归或套索算法，它们会给我各种权重，不一定是 0 或 1。

例如，Xdf 是预测变量的 DataFrame：

Xdf = pd.DataFrame({'p1':[1,1,1,1],
                    'p2':[1,0,0,1],
                    'p3':[2,2,2,2],
                    'p4':[0,0,0,1]})

Ydf是output的系列：

Ydf = pd.Series([3,3,3,3])

所以这里的解决方案是p1 + p3。

这是我为解决问题而编写的代码。 我使用 ParameterGrid 计算每个可能组合的平均绝对误差。

import pandas as pd
from sklearn.model_selection import ParameterGrid

# 1. create the weights grid to compute all possible combinations
weight_grid = {}
for predictor in Xdf.columns:
    weight_grid[predictor] = [0,1]
grid = ParameterGrid(weight_grid)

# 2. compute the mean absolute error for each possible combination:
res = pd.Series()
for weights in grid:
    weights = list(weights.values())
    Xfit = Xdf*weights
    Xfit = Xfit.sum(1)
    mae = (abs(Ydf-Xfit)).mean()

    weights_code=""
    for i in weights:
        weights_code += str(i)
    res[weights_code]=mae

# 3. print the results
res.sort_values()

然后我采用最佳组合（降低 mae） 问题是当我有 15 个预测变量时，这段代码在几分钟内运行非常慢......你有更好的方法吗？