Hyperopt 库中的重复试验

Question

我正在使用hyperopt库来调整我的模型。

这是我的搜索空间：

search_space = {
            'max_df': hp.choice('max_df', [1, 0.95, 0.9]),
            'cls': hp.choice('cls', ['A', 'B', 'C', 'D', 'E', 'F', 'G',
                                     ]),
            'ngram_range': hp.choice('ngram_range', [
                (2,3), (2,4), (2,5), (2,6),
                (3,4), (3,5), (3,6),
                (4,5), (4,6), (5,6)
            ]),
        }

这是我的代码：

trials = Trials()
best = fmin(self.objective_function, space=search_space, algo=tpe.suggest, max_evals=140, trials=trials)
bp = trials.best_trial['result']['Params']
print(bp)

根据我拥有的可能参数的数量，库应该完成210迭代以完成搜索过程（3 * 7 * 10）

我将参数max_evals设置为 140，这小于可能的总数。

每次迭代后，我都会将参数与分数一起保存。 我发现，即使我在较低的空间（140 而不是 210）中搜索，也存在具有重复参数的试验（迭代）。

hyperopt库是遵循 Gridsearch 技术还是在每次试验中随机组合参数？

我要问的是参数选择过程，而不是优化技术（例如Bayesian优化）。

Answer 1

在您的代码中，您使用了tpe （树结构 Parzen Estimator），您可以在hyperopt 的作者的这篇论文中了解更多信息。 关于这个算法，我不能在这里告诉你太多，但请注意，每个这样的搜索都将从一个预定义的“启动”期开始。 默认情况下，Hyperopt 使用 20 次随机试验来“播种”TPE， 请参见此处。 由于您的搜索空间相当小，而且这些随机试验是独立挑选的，这可能已经说明了您的重复。

如果您愿意，除了 TPE，您还可以使用纯随机搜索或 hyperopt 中称为 ATPE 的变体。