将文件字符串读入数组（以pythonic方式）

Question

我正在从文件中读取行然后使用它们。 每行仅由浮点数组成。

我几乎把所有东西都整理好了，把这些线转换成 arrays。

我基本上是这样做的（伪python代码）

 line=file.readlines()
 line=line.split(' ') # Or whatever separator
 array=np.array(line)
 #And then iterate over every value casting them as floats
      newarray[i]=array.float(array[i])

这行得通，但似乎有点违反直觉和反python，我想知道是否有更好的方法来处理来自文件的输入，以便在最后有一个充满浮点数的数组。

Answer 1

快速回答：

arrays = []
for line in open(your_file): # no need to use readlines if you don't want to store them
    # use a list comprehension to build your array on the fly
    new_array = np.array((array.float(i) for i in line.split(' '))) 
    arrays.append(new_array)

如果您经常处理此类数据，csv 模块会有所帮助。

import csv

arrays = []
# declare the format of you csv file and Python will turn line into
# lists for you 
parser = csv.reader(open(your_file), delimiter=' '))
for l in parser: 
    arrays.append(np.array((array.float(i) for i in l)))

如果你觉得很狂野，你甚至可以让它完全声明：

import csv

parser = csv.reader(open(your_file), delimiter=' '))
make_array = lambda row : np.array((array.float(i) for i in row)) 
arrays = [make_array(row) for row in parser]

如果你真的想让你的同事讨厌你，你可以做一个单衬里（根本不是 PYTHONIC :-)：

arrays = [np.array((array.float(i) for i in r)) for r in csv.reader(open(your_file), delimiter=' '))]

剥离所有样板和灵活性，您最终可以得到一个干净且可读性强的衬里。 我不会使用它，因为我喜欢使用csv的重构潜力，但它可能已经足够好了。 这是一个灰色地带，所以我不会说它是 Pythonic，但它绝对很方便。

arrays = [np.array((array.float(i) for i in l.split())) for l in open(your_file))]

Answer 2

如果您想要一个 numpy 数组并且文本文件中的每一行具有相同数量的值：

a = numpy.loadtxt('data.txt')

没有 numpy：

with open('data.txt') as f:
    arrays = list(csv.reader(f, delimiter=' ', quoting=csv.QUOTE_NONNUMERIC))

或者只是：

with open('data.txt') as f:
    arrays = [map(float, line.split()) for line in f]

Answer 3

以下情况如何：

import numpy as np

arrays = []
for line in open('data.txt'):
  arrays.append(np.array([float(val) for val in line.rstrip('\n').split(' ') if val != '']))

Answer 4

一种可能的单线：

a_list = [map(float, line.split(' ')) for line in a_file]

请注意，我在这里使用了map()而不是嵌套列表推导以提高可读性。

如果你想要一个 numpy 阵列：

an_array = np.array([map(float, line.split(' ')) for line in a_file])

Answer 5

我会使用正则表达式

进口再

all_lines = ''.join( file.readlines() )

new_array = np.array( re.findall('[\d.E+-]+', all_lines), float)

np.reshape( new_array, (m,n) )

首先将文件合并成一个长字符串，然后只提取与浮点数对应的表达式（ '[\d.E+-]'用于科学计数法，但您也可以使用'[\d.]'仅用于浮点表达式）。