Java Spark ML - Spark ML 3.1+ 问题的预测/预测

Question

关于使用 Spark ML 3.1+ 进行预测/预测的小问题。

我有一个非常简单的数据集，其中包含事件发生时的时间戳。

数据集非常简单，这是非常非常大的文件的一小部分。

        +----------+-----+
        |      time|label|
        +----------+-----+
        |1621900800|   43|
        |1619568000|   41|
        |1620432000|   41|
        |1623974400|   42|
        |1620604800|   41|
        |1622505600|   42|
       truncated
        |1624665600|   42|
        |1623715200|   41|
        |1623024000|   43|
        |1623888000|   42|
        |1621296000|   42|
        |1620691200|   44|
        |1620345600|   41|
        |1625702400|   44|
        +----------+-----+
        only showing top 20 rows

数据集实际上只是代表一天的时间戳，左侧和右侧分别是当天售出的香蕉数量。 翻译上述示例的前三行的示例。

        +------    ----+--            ---+
        |          time|            value|
        +-------    ---+-----+
        |May   25, 2021|   banana sold 43|
        |April 28, 2021|   banana sold 41|
        |May    8, 2021|   banana sold 41|

我的目标只是建立一个预测模型，明天、后天等会卖出多少“香蕉”……

因此，我去尝试线性回归，但它可能是解决这个问题的好模型：

VectorAssembler       vectorAssembler = new VectorAssembler().setInputCols(new String[]{"time", "label"}).setOutputCol("features");
        Dataset<Row>          vectorData      = vectorAssembler.transform(dataSetBanana);
        LinearRegression      lr              = new LinearRegression(); 
        LinearRegressionModel lrModel         = lr.fit(vectorData);
        System.out.println("Coefficients: " + lrModel.coefficients() + " Intercept: " + lrModel.intercept());
        LinearRegressionTrainingSummary trainingSummary = lrModel.summary();
        System.out.println("numIterations: " + trainingSummary.totalIterations());
        System.out.println("objectiveHistory: " + Vectors.dense(trainingSummary.objectiveHistory()));
        trainingSummary.residuals().show();
        System.out.println("RMSE: " + trainingSummary.rootMeanSquaredError());
        System.out.println("r2: " + trainingSummary.r2());
        System.out.println("the magical prediction: " + lrModel.predict(new DenseVector(new double[]{1.0, 1.0})));

我看到所有的值都打印出来了，很高兴。

Coefficients: [-1.5625735463489882E-19,1.0000000000000544] Intercept: 2.5338210784074846E-10
numIterations: 0
objectiveHistory: [0.0]

+--------------------+
|           residuals|
+--------------------+
|-1.11910480882215...|

RMSE: 3.0933584599870493E-13
r2: 1.0
the magical prediction: 1.0000000002534366

它没有给我任何接近预测的东西，我期待的是

|Some time in the future|   banana sold some prediction|
| 1626414043 | 38 |

请问什么样的模型可以得到“模型预测 X 香蕉将在未来 Y 时间出售”之类的答案

带有结果的一小段代码会很棒。

谢谢

Answer 1

该模型为您提供变量的系数。 然后很容易计算输出。 如果您只有一个变量 x1，您的模型将类似于：

y = a*x1 + b

那么你的模型的输出是 a 和 b。 然后你可以计算y。

一般来说，机器学习库还实现了其他让您计算输出的方法。 最好搜索如何保存、加载，然后使用新输入评估模型。 查看https://spark.apache.org/docs/1.6.1/api/java/org/apache/spark/ml/regression/LinearRegressionModel.html

有一种称为 predict 的方法，您可以通过将输入作为 Vector 实例来调用模型。 我认为这会奏效！

另一件事是：您正在尝试使用单变量线性回归模型解决时间序列问题。 我认为您应该使用更好的算法来处理时间序列或序列问题，例如长短期记忆 (LSTM)。

希望我的回答对你有用。 继续前进 ;）

Answer 2

在开始使用更复杂的模型之前，线性回归是熟悉 mllib 的良好开端。 首先，让我们看一下到目前为止您已完成的工作。

您的 VectorAssembler 以这种方式转换您的数据框：

前：

时间	标签
1621900800	43
1620432000	41

后：

时间	标签	特征
1621900800	43	[1621900800;43]
1620432000	41	[1620432000;41]

现在，当您要求 LinearRegression 训练其模型时，它会期望您的数据集包含两列：

• 一列名为 features 并包含一个向量，其中包含可用于预测标签的所有内容。
• 一列名为标签，你想预测什么

回归将找到 a 和 b 来最小化所有记录 i 中的错误，其中：

y_i = a * x_i + b + error_i

在您的特定设置中，您已将标签传递给您的向量汇编程序，这是错误的，这就是您想要预测的！ 您的模型只是了解到标签完美地预测了标签：

y = 0.0 * 特征[0] + 1.0 * 特征[1]

所以你应该更正你的 VectorAssembler：

val vectorAssembler = new VectorAssembler().setInputCols(new String[]{"time"}).setOutputCol("features");

现在，当您进行预测时，您已经通过了：

lrModel.predict(new DenseVector(new double[]{ 1.0,        1.0})));
                                             timestamp   label

它按照上面的公式返回 1.0。 现在，如果您按照上面的建议更改 VectorAssembler，您应该以这种方式调用预测：

lrModel.predict(new DenseVector(new double[]{ timeStampIWantToPredict })));

旁注：

• 您可以将数据集传递给您的预测器，它会返回一个带有预测的新列的数据集。
• 你真的应该仔细看看 Mllib Pipeline 文档
• 那么您可以尝试为您的线性回归添加一些新功能：季节性、自回归功能...