![](/img/trans.png)
[英]Python Write to file with variable names, but it doesn't seem to work well
[英]Numpy genfromtxt doesn't seem to work when names=True for Python 3
我正在使用Google Colab环境。
我正在使用的文件可以在这里找到。 这是一个CSV文件
https://drive.google.com/open?id=1v7Mm6S8BVtou1iIfobY43LRF8MgGdjfU
警告:它有几百万行。
此代码在一分钟内即可在Google Colab Python 3笔记本中运行。 我几次尝试都没有问题。
from numpy import genfromtxt
my_data = genfromtxt('DlRefinedRatings.csv', delimiter=',' , dtype=int)
print(my_data[0:50])
另一方面,下面的代码要运行几分钟,然后才能与Google Colab的服务器断开连接。 我尝试了多次。 最终,colab给了我“内存不足”的警告。
from numpy import genfromtxt
my_data = genfromtxt('DlRefinedRatings.csv', delimiter=',' , dtype=int, names=True)
print(my_data[0:50])
似乎在Python 3中曾经有一个names = True的问题,但该问题已修复https://github.com/numpy/numpy/issues/5411
我检查了我在Colab中使用的版本,并且它是最新的
import numpy as np
print(np.version.version)
>1.14.3
同
my_data = genfromtxt('DlRefinedRatings.csv', delimiter=',' , dtype=int, max_rows=100)
我有一个(100,4)int数组。
使用names=True
会花费很长时间,然后发出一长串错误,除了行号(即使使用max_rows)之外,其他所有错误都一样:
Line #4121986 (got 4 columns instead of 3)
标题行是螺丝钉-带有初始空白名称:
In [753]: !head ../Downloads/refinedRatings.csv
,user_id,book_id,rating
0,1,258,5
1,2,4081,4
2,2,260,5
3,2,9296,5
5,2,26,4
7,2,33,4
8,2,301,5
9,2,2686,5
10,2,3753,5
因此,基于名称,它认为有3列,但所有数据行都有4列。因此出现错误。 我不知道为什么在这种情况下它会忽略max_rows
。
但是用我自己的名字
In [755]: np.genfromtxt('../Downloads/refinedRatings.csv',delimiter=',',dtype=in
...: t, max_rows=10, names='foo,bar,dat,me')
Out[755]:
array([(-1, -1, -1, -1), ( 0, 1, 258, 5), ( 1, 2, 4081, 4),
( 2, 2, 260, 5), ( 3, 2, 9296, 5), ( 5, 2, 26, 4),
( 7, 2, 33, 4), ( 8, 2, 301, 5), ( 9, 2, 2686, 5),
(10, 2, 3753, 5)],
dtype=[('foo', '<i8'), ('bar', '<i8'), ('dat', '<i8'), ('me', '<i8')])
第一条记录(-1,-1,-1,-1)
是最初的错误标头行,用-1代替字符串无法转换为整数。 因此,我们应该按以下skip_header
进行skip_header
。
或者:
In [756]: np.genfromtxt('../Downloads/refinedRatings.csv',delimiter=',',dtype=in
...: t, max_rows=10, skip_header=1)
Out[756]:
array([[ 0, 1, 258, 5],
[ 1, 2, 4081, 4],
[ 2, 2, 260, 5],
[ 3, 2, 9296, 5],
[ 5, 2, 26, 4],
[ 7, 2, 33, 4],
[ 8, 2, 301, 5],
[ 9, 2, 2686, 5],
[ 10, 2, 3753, 5],
[ 11, 2, 8519, 5]])
总之,跳过标题,如果需要结构化数组,请使用自己的名称。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.