[英]Efficient accessing in sparse matrices
我正在使用推荐系统,但是我在为稀疏矩阵的访问时间而苦苦挣扎。
在这种情况下,我正在实现TrustSVD,所以我需要一个有效的结构来在列和行(CSR,CSC)中进行操作。 我曾考虑过同时使用结构,字典等。但是无论哪种方式,这总是太慢,特别是与numpy矩阵运算相比。
for u, j in zip(*ratings.nonzero()):
items_rated_by_u = ratings[u, :].nonzero()[1]
users_who_rated_j = ratings[:, j].nonzero()[0]
# More code...
额外:每个循环大约需要0.033s,因此要对35,000个额定值进行一次迭代,则意味着要等待19分钟的每次迭代(SGD),而对于至少25次迭代,我们所说的是8小时。 此外,在这里我只是在谈论访问,如果我包括分解部分,则大约需要2天。
当您为稀疏矩阵建立索引时,尤其是仅要求行或列时,它不仅必须选择值,而且还必须构造一个新的稀疏矩阵。 np.ndarray
构造是在编译后的代码中完成的,但是大多数稀疏构造都是纯Python。 nonzero()[1]
构造要求将矩阵转换为coo
格式,并选择row
和col
属性(请参阅其代码)。
我认为您可以通过查看lil
格式的rows
属性或其转置来更快地访问行列:
In [418]: sparse.lil_matrix(np.matrix('0,1,0;1,0,0;0,1,1'))
Out[418]:
<3x3 sparse matrix of type '<class 'numpy.int32'>'
with 4 stored elements in LInked List format>
In [419]: M=sparse.lil_matrix(np.matrix('0,1,0;1,0,0;0,1,1'))
In [420]: M.A
Out[420]:
array([[0, 1, 0],
[1, 0, 0],
[0, 1, 1]], dtype=int32)
In [421]: M.rows
Out[421]: array([[1], [0], [1, 2]], dtype=object)
In [422]: M[1,:].nonzero()[1]
Out[422]: array([0], dtype=int32)
In [423]: M[2,:].nonzero()[1]
Out[423]: array([1, 2], dtype=int32)
In [424]: M.T.rows
Out[424]: array([[1], [0, 2], [2]], dtype=object)
您也可以以csr
格式访问这些值,但这有点复杂
In [425]: M.tocsr().indices
Out[425]: array([1, 0, 1, 2], dtype=int32)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.