使用pandas如何将数据帧拆分为多个大小为N的数据帧

Question

我有一个充满几千行的csv文件。 我加载一个文件并将其转换为pandas数据帧，但我希望每隔12行拆分该文件并将其存储为数据帧列表。 我该怎么做呢？

EVALUATION_FILE = 'training/evaluation.csv'

data = pd.read_csv(
    EVALUATION_FILE,
    engine='python',
    index_col=None
)

我像这样加载我的文件，但我希望改变它，所以它每12行拆分并附加到列表中。 我该怎么做？

Answer 1

chunksize

使用此参数时， read_csv返回一个迭代器，其中每次迭代都返回一个新块。

data = [*pd.read_csv(EVALUATION_FILE, chunksize=12)]

---

numpy.split

如果您已经读过数据帧，并且想要在事实之后拆分它。 将nupmy.split与定义拆分点的数组一起使用。

data = np.split(df, range(12, len(df), 12))

Answer 2

在read_csv之后检查groupby

data=[y for x , y in df.groupby(data.index//12)]

---

EVALUATION_FILE = 'training/evaluation.csv'

data = pd.read_csv(
    EVALUATION_FILE,
    engine='python',
    index_col=None
)