将大型数据帧拆分为较小的pandas数据帧列表

Question

我有一个如下所示的数据框：

    y  gdp  cap
0   1    2    5
1   2    3    9
2   8    7    2
3   3    4    7
4   6    7    7

有没有办法我可以把它分成一个pandas数据帧列表，每个数据帧有1行和相同的标题，这个数据帧大？ 我可以循环它，但是有更多的pythonic soln吗？

用例是：

with Pool(processes=5) as p:
    p.starmap(parallel_func, list(single_row_of_dataframe))

Answer 1

选项1
np.split

for i in np.arange(1, len(df))):
     print(i, '\n')

   y  gdp  cap
0  1    2    5 

   y  gdp  cap
1  2    3    9 

   y  gdp  cap
2  8    7    2 

   y  gdp  cap
3  3    4    7 

   y  gdp  cap
4  6    7    7 

如果您的索引是单调的，则可以使用它来分割：

for i in np.split(df, df.index[1:]):
    print(i, '\n')

请注意， np.split的核心是循环实现，因此您并没有真正转义迭代。

splits = np.split(df, df.index[1:])

---

选项2在df.index循环并调用loc ：

splits = [df.loc[[i]] for i in df.index]

---

在这里的评论中dask讨论 - 如果您正在寻求某种并行化，请查看dask数据帧。 不要尝试使用Pool实现自己的并行化，实际上会降低性能。

Answer 2

或者您可以使用//和groupby ，我将数据帧拆分为3，您可以更改所需的数字

[df1 for _,df1 in df.groupby(np.arange(len(df))//3)]
Out[356]: 
[   y  gdp  cap
 0  1    2    5
 1  2    3    9
 2  8    7    2,    y  gdp  cap
 3  3    4    7
 4  6    7    7]