Python：讀取從csv到數組的時間步長：使用numpy對模型數據進行后處理；

Question

我仍在嘗試使用python，但是這個問題超出了我的知識范圍：

主題：流體動力后處理：液壓軟件的csv輸出到陣列，分段時間步

這是數據，以及有效代碼的有效距離：

輸入文件（見下文）：

第一行：結果節點數

第二行：標題

第三行：timestep @ time =

隨后：該時間步的所有結果（在此文件中：13541個節點，變量）..下一個時間步再次相同。

# Number of Nodes: 13541
#X                  Y                   Z                   depth               wse             
# Output at t = 0
       5603.7598           4474.4902           37.470001                   0           37.470001
          5610.5           4461.6001           36.020001                   0           36.020001
         5617.25             4448.71           35.130001                   0           35.130001
       5623.9902           4435.8198               35.07                   0               35.07
       5630.7402           4422.9199               35.07                   0               35.07
       5761.5801             4402.79           35.369999                   0           35.369999
COMMENT:....................13541 timesteps...........
# Output at t = 120.04446
       5603.7598           4474.4902           37.470001           3.6977223           41.167724
          5610.5           4461.6001           36.020001           4.1377293            40.15773
         5617.25             4448.71           35.130001           3.9119012           39.041902
       5623.9902           4435.8198               35.07           3.7923947           38.862394
       5630.7402           4422.9199               35.07            3.998436           39.068436
       5761.5801             4402.79           35.369999           3.9750571           39.345056
COMMENT:....................13541 timesteps...........
# Output at t = 240.06036
       5603.7598           4474.4902           37.470001           11.131587           48.601588
          5610.5           4461.6001           36.020001           12.564266           48.584266
         5617.25             4448.71           35.130001           13.498463           48.628464
       5623.9902           4435.8198               35.07           13.443041           48.513041
       5630.7402           4422.9199               35.07           11.625824           46.695824
       5761.5801             4402.79           35.369999            19.49551           54.865508

問題：我需要一個循環，將n個時間步讀入數組。

結果應為：每個時間步的數組：在這種情況下，為27個時間步，每個時間步都有13541個元素。

timestep_1 = [此時間步長的所有元素：shape = 13541,5]

timestep_2 = []

timestep_3 []

........

timestep_n = []

到目前為止，我的代碼：

 import numpy as np
 import csv
 from numpy import *
 import itertools

 #read file to big array
 array=np.array([row for row in csv.reader(open("ascii-full.csv", "rb"), delimiter='\t')])      
 firstRow=array[0]
 secondRow=array[1]

 # find out how many nodes
 strfirstRow=' '.join(map(str,firstRow))
 first=strfirstRow.split()
 print first[4]
 nodes=first[4]
 nodes=float(nodes)

 #count timesteps
 temp=(len(array)-3)/nodes           
 timesteps=int(temp)+1

 #split array into timesteps:
 # X Y Z h(t1) h(t2) h(tn)

 ts1=array[3:nodes+3]#13541
 #print ts1

 ts2=array[nodes+4:nodes*2+4]
 #print ts2


 .......
 read ts3 to last timestep to arrays with loop....

也許有人可以幫助我，謝謝！！！

Answer 1

您可以使用np.genfromtxt()獲得3-D數組，例如：

import numpy as np

gen = (a for a in open('test.txt') if not a[0] in ['#', 'C'])
a = np.genfromtxt(gen).reshape(-1, 6, 5)

其中a[i]代表時間步長i的輸出。

Answer 2

我對您的問題的看法是，與其將整個文件讀入一個數組並進行處理，不如逐行讀取它，而是在讀取數據時創建數組。

我按文件中所述讀取每個時間步的行數和列數，然后為每個讀取的時間步創建一個新數組（將其添加到列表中），然后使用讀取的數據填充它。

import numpy as np

timesteps = []
timestep_results = []

f = open("ascii-full.csv", "rb")

# First line is number of rows (not counting the initial #)
rows = int(f.readline().strip()[1:].split()[-1])
counter = 0

# Second line is number of columns
columns = len(f.readline().strip().split())

# Next lines
for line in f:
    if line.startswith("#"):
        # it's a header: add time to timestep list, begin new array
        timesteps.append( float(line.strip().split("=")[1]) )
        timestep_results.append( np.zeros((rows, columns)) )
        counter = 0
    else:
        # it's data: add to array in appropiate row
        timestep_results[-1][counter] = map(float, line.strip().split())
        counter += 1

f.close()

希望能幫助到你！