如何基于 pandas 读取 csv 迭代器创建两个新的迭代器

Question

我正在尝试使用 Keras 训练一个 neural.network。我的数据集非常大，而且我的 RAM 有限，所以我无法一次读取所有数据。

因此，我使用 pandas 分块读取 csv，如下所示：

df_iterator = pandas.read_csv("./formated_data/data-09-11-22.csv", chunksize=32, iterator=True)

读入的数据形式为：

输入数据1，输入数据2，输入数据3，.....，输入数据3600，预期output

因此 36001 个元素构成 csv 文件中的一行。

我有大约 425,000 行。

作为keras的fit function如下：

history = model.fit(Inputs, Outputs, validation_split=0.33, epochs=200, batch_size=32, verbose=0)

我需要知道如何将我的原始迭代器分成两个，一个用于输入数据，一个用于预期的 output？ 无需太多额外的 RAM。

任何帮助将不胜感激。

谢谢

我尝试了以下 function 来拆分原始迭代器，但由于我对 python 的了解有限，所以我不能 100% 确定自己在做什么。 或者，如果它显着增加了 RAM 要求。 你可能有一个完全不同的方法。

def split(iterable, n):
    iterators = []
    for i, iterator in enumerate(itertools.tee(iterable, n)):
        iterators.append(itertools.map(operator.itemgetter(i),iterator))
    return tuple(iterators)

Answer 1

您可以使用read_csv的usecols参数创建一个仅包含所需列的迭代器。

首先在特征上创建一个迭代器：

>>> data_36001_X_10 = '\n'.join([','.join(['0']*36000 + ['1'])] * 10)
>>> buf = io.StringIO(data_36001_X_10)
>>> for chunk in pandas.read_csv(buf, chunksize=2, usecols=range(36000), header=None):
...   print(chunk)
...   print()
... 
   0      1      2      3      4      5      6      7      8      9      10     11     12     13     ...  35986  35987  35988  35989  35990  35991  35992  35993  35994  35995  35996  35997  35998  35999
0      0      0      0      0      0      0      0      0      0      0      0      0      0      0  ...      0      0      0      0      0      0      0      0      0      0      0      0      0      0
1      0      0      0      0      0      0      0      0      0      0      0      0      0      0  ...      0      0      0      0      0      0      0      0      0      0      0      0      0      0

[2 rows x 36000 columns]

   0      1      2      3      4      5      6      7      8      9      10     11     12     13     ...  35986  35987  35988  35989  35990  35991  35992  35993  35994  35995  35996  35997  35998  35999
2      0      0      0      0      0      0      0      0      0      0      0      0      0      0  ...      0      0      0      0      0      0      0      0      0      0      0      0      0      0
3      0      0      0      0      0      0      0      0      0      0      0      0      0      0  ...      0      0      0      0      0      0      0      0      0      0      0      0      0      0

[2 rows x 36000 columns]

然后只在标签上创建一个迭代器：

>>> buf = io.StringIO(data_36001_X_10)
>>> for chunk in pandas.read_csv(buf, chunksize=2, usecols=[36000], header=None):
...   print(chunk, sep='\n')
...   print()
... 
   36000
0      1
1      1

   36000
2      1
3      1

   36000
4      1
5      1

   36000
6      1
7      1

   36000
8      1
9      1

usecols=range(36000)获取 position 0 到 35999 之间的列usecols=[36000]只获取最后一列的数据。