Pyspark线性回归梯度下降交叉验证

Question

我正在尝试在pyspark中的SGD模型上执行交叉验证，正在使用LinearRegressionWithSGD的pyspark.mllib.regression ， pyspark.ml.tuning库中的ParamGridBuilder和CrossValidator 。

在遵循了Spark网站上的文档之后，我希望运行此方法可以正常工作

lr = LinearRegressionWithSGD()
pipeline=Pipeline(stages=[lr])

paramGrid = ParamGridBuilder()\
    .addGrid(lr.stepSize, Array(0.1, 0.01))\
    .build()

crossval = CrossValidator(estimator=pipeline,estimatorParamMaps= paramGrid,
                         evaluator=RegressionEvaluator(),
                         numFolds=10)  

但是LinearRegressionWithSGD()不具有stepSize属性（也没有运气尝试过其他属性）。

我可以将lr设置为LinearRegression但是我无法在模型中使用SGD并进行交叉验证。

Scala中有kFold方法，但我不确定如何从pyspark访问该方法

Answer 1

您可以使用LinearRegressionWithSGD中的step参数来定义步长，但由于您正在混合不兼容的库，因此这将使代码无法正常工作。 不幸的是，我不知道如何使用SGD优化对ml库进行交叉验证，我想知道自己，但是您正在混合使用pyspark.ml和pyspark.mllib库。 具体来说，您不能将LinearRegressionWithSGD与pyspark.ml库一起使用。 您必须使用pyspark.ml.regression.LinearRegression 。

好消息是您可以将pyspark.ml.regression.LinearRegression的setsolver属性设置为使用'gd'。 因此，您可能可以将'gd'优化器的参数设置为以SGD运行，但是我不确定求解器文档在哪里或如何设置求解器属性（例如批大小）。 该api显示了调用Param（）的LinearRegression对象，但是我不确定它是否使用pyspark.mllib优化器。 如果有人知道如何设置求解器属性，则可以通过允许您将Pipeline，ParamGridBuilder和CrossValidation ml软件包用于LinearRegression进行模型选择，从而利用SGD优化进行参数调整，从而回答您的问题。

谢恩，谢恩