使用Numpy加载大数据文件？

Question

我正在尝试从.dat中加载作为我正在处理的小项目的一部分的大型数组。

我通常使用numpy.loadtxt从文件中读取数据，以形成单列数组（如果文件为：）

1 2 3
1 2 3
1 2 3

我在哪里使用：

x, y, z = np.loadtxt("123.dat", Unpack =True)

要将3列分配给数组1,2和3。我正在使用的文件具有以下格式。

0000000000 4.975124E-03 -3.046211E+00 -1.148806E+00
0000000001 2.543665E-06 -3.661235E+00 -1.038111E+00
0000000002 2.543665E-06 -1.285855E+01 1.251881E+00

此格式在我的文件中重复约52k行。 但是，当我尝试使用相同的方法并尝试使用以下方法时。

i, m, x, y = np.loadtxt("stars.dat", unpack=True)

我收到以下错误。

Traceback (most recent call last):
  File "test.py", line 4, in <module>
    i, m, x, y = np.loadtxt("stars.dat")
ValueError: too many values to unpack (expected 4)

我尝试将参数更改为usecols =（1,2 ...），但是这不能将值正确地收集到矩阵中，它从我的文件中选择了未在列中对齐的随机值。

我该如何解决该错误？将来使用Numpy从文件中导入大数据集并将其分配给数组的正确方法是什么？

Answer 1

您的样本应按预期分解为4个变量。 该文件必须有所不同。 该错误表明它正在查找4个以上的列。 usecols的问题进一步表明，文件中列的概念与loadtxt看到的不同。 分隔符可能有问题。

与您的样品：

In [114]: txt=b"""0000000000 4.975124E-03 -3.046211E+00 -1.148806E+00
     ...: 0000000001 2.543665E-06 -3.661235E+00 -1.038111E+00
     ...: 0000000002 2.543665E-06 -1.285855E+01 1.251881E+00"""

In [119]: data=np.loadtxt(txt.splitlines())
In [120]: data.shape
Out[120]: (3, 4)
In [121]: data.dtype
Out[121]: dtype('float64')

普通负载找到3行4列。 这样做是一个好主意，以确保您正确读取文件。

unpack只是转置数组：

In [122]: data=np.loadtxt(txt.splitlines(), unpack=True)
In [123]: data.shape
Out[123]: (4, 3)
In [124]: i,j,k,l=data

然后可以打开包装。 解压缩是Python对变量元组的常规分配。 除了转loadtxt没有做任何特殊处理unpack 。