根據空列將pandas數據幀拆分為多個數據幀

Question

我有一個pandas數據幀如下：

        a       b       c
    0   1.0     NaN     NaN
    1   NaN     7.0     5.0
    2   3.0     8.0     3.0
    3   4.0     9.0     2.0
    4   5.0     0.0     NaN

有沒有一種簡單的方法可以根據非空值將數據幀拆分成多個數據幀？

        a   
    0   1.0     

         b      c
    1    7.0    5.0

        a       b       c
    2   3.0     8.0     3.0
    3   4.0     9.0     2.0

        a       b      
    4   5.0     0.0

Answer 1

使用groupby和dropna

for _, x in df.groupby(df.isnull().dot(df.columns)):
      print(x.dropna(1))

     a    b    c
2  3.0  8.0  3.0
3  4.0  9.0  2.0
     b    c
1  7.0  5.0
     a
0  1.0
     a    b
4  5.0  0.0

我們可以將它們保存在dict中

d = {y : x.dropna(1) for y, x in df.groupby(df.isnull().dot(df.columns))}

更多信息使用dot來獲取空列，如果它們相同，我們應該將它們組合在一起

df.isnull().dot(df.columns)
Out[1250]: 
0    bc
1     a
2      
3      
4     c
dtype: object

Answer 2

所以這是一個可能的解決方案

def getMap(some_list):
    return "".join(["1" if np.isnan(x) else "0" for x in some_list])

import pandas as pd
import numpy as np

df = pd.DataFrame([[1, np.NaN, np.NaN], [np.NaN, 7, 5], [3, 8, 3], [4, 9, 2], [5, 0, np.NaN]])
print(df.head())

x = df[[0, 1, 2]].apply(lambda x: x.tolist(), axis=1).tolist()

nullMap = [getMap(y) for y in x]
nullSet = set(nullMap)
some_dict = {y:[] for y in nullSet}

for y in x:
    some_dict[getMap(y)] = [*some_dict[getMap(y)], [z for z in y if ~np.isnan(z)]]

dfs = [pd.DataFrame(y) for y in some_dict.values()]
for df in dfs:
    print(df)

這為您提供的輸入提供了准確的輸出。 :)

    a   
    1.0     

     b      c
     7.0    5.0

    a       b       c
    3.0     8.0     3.0
    4.0     9.0     2.0

    a       b      
    5.0     0.0