直接将 Pandas 数据帧转换为稀疏 Numpy 矩阵

Question

我正在从 Pandas 数据框创建一个矩阵，如下所示：

dense_matrix = np.array(df.as_matrix(columns = None), dtype=bool).astype(np.int)

然后进入一个稀疏矩阵：

sparse_matrix = scipy.sparse.csr_matrix(dense_matrix)

有没有办法从 df 直接到稀疏矩阵？

提前致谢。

Answer 1

df.values是一个 numpy 数组，以这种方式访问​​值总是比np.array快。

scipy.sparse.csr_matrix(df.values)

您可能需要先进行转置，例如df.values.T 。 在 DataFrames 中，列是轴 0。

Answer 2

有一种方法可以做到这一点，而无需在途中转换为密集： csr_sparse_matrix = df.sparse.to_coo().tocsr()

Answer 3

解决方案：

import pandas as pd
import scipy
from scipy.sparse import csr_matrix

csr_matrix = csr_matrix(df.astype(pd.SparseDtype("float64",0)).sparse.to_coo())

解释：

to_coo需要pd.DataFrame为稀疏格式，因此需要将数据帧转换为稀疏数据类型： df.astype(pd.SparseDtype("float64",0))

转化为COO矩阵后，可以转化为CSR矩阵。