如何将RowMatrix转换为本地Matrix？

Question

我在Spark中有关于矩阵的问题。

假设我有一个名为X的RowMatrix如下所示：

0.5    0.5  
0.25   0.0625
0.125  0.125
0.0625 0.0625
0.0625 0.25

现在，我要做的是将此RowMatrix与RowMatrix X的转置版本RowMatrix 。

0.5 0.25   0.125 0.0625 0.0625
0.5 0.0625 0.125 0.0625 0.25

现在，就我所知，我不能将RowMatrix与另一个RowMatrix ，它必须是RowMatrix和局部矩阵。 因此，我尝试使用以下代码将RowMatrix转换为局部密集矩阵：

val arr = X.rows.map(x=>x.toArray).collect.flatten
val Xlocal = Matrices.dense(X.numRows.toInt,X.numCols.toInt,arr)

但是它不能正确转换，因为我认为RowMatrix是基于行的？ 我不太确定，局部密集矩阵是否按列的主要顺序存储，所以顺序混乱了。

有人可以帮我实现这个吗？

Answer 1

RowMatrix没有任何行索引，仅应在行顺序无关紧要时使用。 如果顺序确实重要，请改用IndexedRowMatrix 。

可以将RowMatrix转换为IndexedRowMatrix但是请注意， 不能保证顺序 ，因此最好直接使用IndexedRowMatrix 。 假设rowMat是要转换的矩阵：

val indRowMax = new IndexedRowMatrix(rowMat.rows.zipWithIndex().map{ case (v, id) => IndexedRow(id, v)})

IndexedRowMatrix可以轻松转换为局部矩阵：

val localMat = indRowMax.toBlockMatrix().toLocalMatrix()

并与转置相乘可以按以下步骤进行：

indRowMax.multiply(localMat.transpose)