將行附加到pandas中的組

Question

我正在嘗試在pandas數據幀中為每個組添加一些NaN行。 基本上我想將每組填充為5行長。 訂購很重要。 我有：

    Rank id
0   1  a
1   2  a
2   3  a
3   4  a
4   5  a
5   1  c
6   2  c
7   1  e
8   2  e
9   3  e

我想要：

    Rank id
0   1    a
1   2    a
2   3    a
3   4    a
4   5    a
5   1    c
6   2    c
7   NaN  c
8   NaN  c
9   NaN  c
10  1    e
11  2    e
12  3    e
13  NaN  e
14  NaN  e

Answer 1

使用pd.crosstab ：

df = pd.crosstab(df.Rank, df.ID).iloc[:5].unstack().reset_index()
df.loc[(df[0]==0),'Rank'] = np.nan
del df[0]

輸出：

   ID  Rank
0   a   1.0
1   a   2.0
2   a   3.0
3   a   4.0
4   a   5.0
5   c   1.0
6   c   2.0
7   c   NaN
8   c   NaN
9   c   NaN
10  e   1.0
11  e   2.0
12  e   3.0
13  e   NaN
14  e   NaN

另一種方法，假設df的最大組大小恰好為5。

In [251]: df.groupby('ID').Rank.apply(np.array).apply(pd.Series).stack(dropna=False)
Out[251]: 
ID
a   0    1.0
    1    2.0
    2    3.0
    3    4.0
    4    5.0
c   0    1.0
    1    2.0
    2    NaN
    3    NaN
    4    NaN
e   0    1.0
    1    2.0
    2    3.0
    3    NaN
    4    NaN
dtype: float64

完整說明：

import pandas as pd
import numpy as np

df = pd.read_csv(pd.compat.StringIO("""Rank ID
0   1  a
1   2  a
2   3  a
3   4  a
4   5  a
6   1  c
7   2  c
8   1  e
9   2  e
10  3  e"""), sep=r' +')

df = pd.crosstab(df.Rank, df.ID).iloc[:5].T.stack().reset_index()
df.loc[(df[0]==0),'Rank'] = np.nan
del df[0]

# pd.crosstab(df.Rank, df.ID) produces:

# ID    a  c  e
# Rank
# 1.0   1  1  1
# 2.0   1  1  1
# 3.0   1  0  1
# 4.0   1  0  0
# 5.0   1  0  0

# applying .T.stack().reset_index() yields:

   # ID  Rank  0
# 0   a   1.0  1
# 1   a   2.0  1
# 2   a   3.0  1
# 3   a   4.0  1
# 4   a   5.0  1
# 5   c   1.0  1
# 6   c   2.0  1
# 7   c   3.0  0
# 8   c   4.0  0
# 9   c   5.0  0
# 10  e   1.0  1
# 11  e   2.0  1
# 12  e   3.0  1
# 13  e   4.0  0
# 14  e   5.0  0

# finally, use df[0] to filter df['Rank']

Answer 2

concat和reindex

此解決方案不考慮Rank列中的值，只在需要更多行時才添加更多行。

pd.concat([
    d.reset_index(drop=True).reindex(range(5)).assign(id=n)
    for n, d in df.groupby('id')
], ignore_index=True)

    Rank id
0    1.0  a
1    2.0  a
2    3.0  a
3    4.0  a
4    5.0  a
5    1.0  c
6    2.0  c
7    NaN  c
8    NaN  c
9    NaN  c
10   1.0  e
11   2.0  e
12   3.0  e
13   NaN  e
14   NaN  e

---

同樣的答案措辭有點不同

f = lambda t: t[1].reset_index(drop=True).reindex(range(5)).assign(id=t[0])
pd.concat(map(f, df.groupby('id')), ignore_index=True)

---

factorize

該解決方案從id和Rank生成具有唯一值的笛卡爾積

i, r = df.id.factorize()
j, c = df.Rank.factorize()
b = np.empty((r.size, c.size))
b.fill(np.nan)
b[i, j] = df.Rank.values

pd.DataFrame(dict(Rank=b.ravel(), id=r.repeat(c.size)))

    Rank id
0    1.0  a
1    2.0  a
2    3.0  a
3    4.0  a
4    5.0  a
5    1.0  c
6    2.0  c
7    NaN  c
8    NaN  c
9    NaN  c
10   1.0  e
11   2.0  e
12   3.0  e
13   NaN  e
14   NaN  e

Answer 3

您可以使用id和pd.concat的頻率來合並重復，即

di = (5-df.groupby('id').size()).to_dict()

temp = pd.concat([pd.DataFrame({
                'Rank':np.nan,
                'id': pd.Series(np.repeat(i,di[i]))
                }) for i in df['id'].unique()])

ndf = pd.concat([df,temp],ignore_index=True).sort_values('id')

    Rank id
0    1.0  a
1    2.0  a
2    3.0  a
3    4.0  a
4    5.0  a
5    1.0  c
6    2.0  c
10   NaN  c
11   NaN  c
12   NaN  c
7    1.0  e
8    2.0  e
9    3.0  e
13   NaN  e
14   NaN  e

Answer 4

一種可能的解決方案是通過numpy.repeat創建幫助DataFrame numpy.repeat ，然后append到原始的最后sort_values ：

s = (5 - df['id'].value_counts())
df = (df.append(pd.DataFrame({'id':np.repeat(s.index, s.values), 'Rank':np.nan}))
       .sort_values('id')
       .reset_index(drop=True))
print (df)
    Rank id
0    1.0  a
1    2.0  a
2    3.0  a
3    4.0  a
4    5.0  a
5    1.0  c
6    2.0  c
7    NaN  c
8    NaN  c
9    NaN  c
10   1.0  e
11   2.0  e
12   3.0  e
13   NaN  e
14   NaN  e

另一個解決方案是沒有排序是groupby與自定義功能和append ：

def f(x):
    return x.append(pd.DataFrame([[np.nan, x.name]] * (5 - len(x)), columns=['Rank','id']))
df = df.groupby('id', sort=False).apply(f).reset_index(drop=True)
print (df)
   Rank id
0     1  a
1     2  a
2     3  a
3     4  a
4     5  a
5     1  c
6     2  c
7   NaN  c
8   NaN  c
9   NaN  c
10    1  e
11    2  e
12    3  e
13  NaN  e
14  NaN  e

Answer 5

這是使用單個pd.DataFrame.append的一種方式，后面是sort_values 。

from itertools import chain

counts = df.groupby('id')['Rank'].count()

lst = list(chain.from_iterable([[np.nan, i]]*(5-c) for i, c in counts.items()))

res = df.append(pd.DataFrame(lst, columns=df.columns))\
        .sort_values(['id', 'Rank'])\
        .reset_index(drop=True)

print(res)

    Rank id
0    1.0  a
1    2.0  a
2    3.0  a
3    4.0  a
4    5.0  a
5    1.0  c
6    2.0  c
7    NaN  c
8    NaN  c
9    NaN  c
10   1.0  e
11   2.0  e
12   3.0  e
13   NaN  e
14   NaN  e

Answer 6

迄今為止的優秀答案。 我有另一個想法，因為它更適合我正在處理的問題，使用外連接和pd.merge 。 除了上面的例子，我有幾個度量列（在這個例子中是m1和m2），我想為每個不包含那些Rank值的組設置為零。 在我的例子中，Rank只是一個時間維度，而df包含多個ID的時間序列。

df = pd.read_csv(pd.compat.StringIO("""Rank ID m1 m2
0   1  a 1 3
1   2  a 2 3
2   3  a 1 2
3   4  a 1 3
4   5  a 2 3
6   1  c 2 2
7   2  c 2 4
8   1  e 1 3
9   2  e 1 4
10  3  e 1 2"""), sep=r' +')

然后我定義包含所有等級的df，在本例中為1到10。

df_outer_right = pd.DataFrame({'Rank':np.arange(1,11,1)})

最后，我按ID分組初始df，並在每個組上使用pd.merge應用外連接。

df.groupby('ID').apply(lambda df: pd.merge(df, df_outer_right, how='outer', on='Rank'))

產量：

ID  Rank    ID  m1  m2
a   0   1   a   1.0 3.0
a   1   2   a   2.0 3.0
a   2   3   a   1.0 2.0
a   3   4   a   1.0 3.0
a   4   5   a   2.0 3.0
a   5   6   NaN NaN NaN
a   6   7   NaN NaN NaN
a   7   8   NaN NaN NaN
a   8   9   NaN NaN NaN
a   9   10  NaN NaN NaN
c   0   1   c   2.0 2.0
c   1   2   c   2.0 4.0
c   2   3   NaN NaN NaN
c   3   4   NaN NaN NaN
c   4   5   NaN NaN NaN
c   5   6   NaN NaN NaN
c   6   7   NaN NaN NaN
c   7   8   NaN NaN NaN
c   8   9   NaN NaN NaN
c   9   10  NaN NaN NaN
e   0   1   e   1.0 3.0
e   1   2   e   1.0 4.0
e   2   3   e   1.0 2.0
e   3   4   NaN NaN NaN
e   4   5   NaN NaN NaN
e   5   6   NaN NaN NaN
e   6   7   NaN NaN NaN
e   7   8   NaN NaN NaN
e   8   9   NaN NaN NaN
e   9   10  NaN NaN NaN

我很確定這可能不是最快的解決方案:)