是否可以创建MLlib RDD <LabeledPoint> 从Java中的double [] []开始？

Question

我正在本地尝试使用MLLib中的“梯度增强”和“随机森林”。

我有一些数据想以二维双精度数组的形式传递给我的学习算法。 第一维指示行，第二列。 我还获得了具有相同长度的双精度数的一维数组中每一行的响应。

当然，有一种方法可以从这些变量创建RDD，以便可以在本地运行算法？

Answer 1

目前我能做的最好的，尽管我希望有更好的方法：

public static JavaRDD<LabeledPoint> makeMeAnRDD(double[][] X, double[] y, JavaSparkContext context)
{
    assert(X.length == y.length);

    List<LabeledPoint>  xList   = new LinkedList<LabeledPoint>();

    // ivec <=> row number.
    for (int ivec = 0; ivec < X.length; ivec++)
    {
        LabeledPoint    x       = new LabeledPoint(y[ivec], Vectors.dense(X[ivec]));
    }

    return context.parallelize(xList);
}