如何將不同列大小的 pandas dataframe 拆分為單獨的數據幀？

Question

我有一個大的 pandas dataframe，由整個 dataframe 中不同數量的列組成。 這是一個示例：當前 dataframe 示例

我想根據 dataframe 的列數將其拆分為多個數據幀。

示例 output 圖像在這里： Output 圖像

謝謝。

Answer 1

如果您有一個 dataframe 比如說 10 列，並且您想將具有 3 個NaN值的記錄放在另一個結果 dataframe 和具有 1 個NaN的記錄中，您可以按如下方式執行此操作：

# evaluate the number of NaNs per row
num_counts=df.isna().sum('columns')
# group by this number and add the grouped
# dataframe to a dictionary
results= dict()
num_counts=df.isna().sum('columns')
for key, sub_df in df.groupby(num_counts):
    results[key]= sub_df

執行此代碼后，結果包含df的子集，其中每個子集包含相同數量的NaN （因此相同數量的非NaN ）。

如果要將結果寫入 excel 文件，只需執行以下代碼：

with pd.ExcelWriter('sorted_output.xlsx') as writer:
    for key, sub_df in results.items():
        # if you want to avoid the detour of using dicitonaries
        # just replace the previous line by
        # for key, sub_df in df.groupby(num_counts):
        sub_df.to_excel(
            writer,
            sheet_name=f'missing {key}',
            na_rep='',
            inf_rep='inf',
            float_format=None,
            index=True,
            index_label=True,
            header=True)

例子：

# create an example dataframe
df=pd.DataFrame(dict(a=[1, 2, 3, 4, 5, 6], b=list('abbcac')))
df.loc[[2, 4, 5], 'c']= list('xyz')
df.loc[[2, 3, 4], 'd']= list('vxw')
df.loc[[1, 2], 'e']= list('qw')

它看起來像這樣：

Out[58]: 
   a  b    c    d    e
0  1  a  NaN  NaN  NaN
1  2  b  NaN  NaN    q
2  3  b    x    v    w
3  4  c  NaN    x  NaN
4  5  a    y    w  NaN
5  6  c    z  NaN  NaN

如果你在這個 dataframe 上執行上面的代碼，你會得到一個包含以下內容的字典：

0:    a  b  c  d  e
   2  3  b  x  v  w

1:    a  b  c  d    e
   4  5  a  y  w  NaN

2:    a  b    c    d    e
   1  2  b  NaN  NaN    q
   3  4  c  NaN    x  NaN
   5  6  c    z  NaN  NaN

3:    a  b    c    d    e
   0  1  a  NaN  NaN  NaN

字典的鍵是行中NaN的數量，值是數據幀，其中僅包含具有該數量NaN的行。

Answer 2

如果我說得對，您要做的是將現有的 1 dataframe 與n列拆分為ceil(n/5)數據幀，每個數據幀有 5 列，最后一個帶有n/5的提醒。

如果是這種情況，這將起到作用：

import pandas as pd
import math

max_cols=5

dt={"a": [1,2,3], "b": [6,5,3], "c": [8,4,2], "d": [8,4,0], "e": [1,9,5], "f": [9,7,9]}

df=pd.DataFrame(data=dt)

dfs=[df[df.columns[max_cols*i:max_cols*i+max_cols]] for i in range(math.ceil(len(df.columns)/max_cols))]

for el in dfs:
    print(el)

和 output：

   a  b  c  d  e
0  1  6  8  8  1                                            
1  2  5  4  4  9                                            
2  3  3  2  0  5                                               
   f                                                        
0  9                                                        
1  7                                                        
2  9                                                        

[Program finished]