带计数和平均值的嵌套分组依据

Question

我有这个数据集：

import pandas as pd

d = {'Agreements': ["Rome", "NewYork", "Paris", "Tokyo"], 'Year': [2012, 2012, 2013, 2013], 
     'Provision1': [1, 1, 1, 1], 'Provision2': [1, 1, 0, 1], 'Provision3': [0, 1, 1, 0]}

df = pd.DataFrame(data=d)

协议	年	规定1	规定2	规定3
罗马	2012	1个	1个	0
纽约	2012	1个	1个	1个
巴黎	2013	1个	0	1个
东京	2013	1个	1个	0

我想分组以获得 output：

年	每年计算协议	每年计算规定	每年平均拨款
2012	2个	5个	2.5
2013	2个	4个	2个

我试过df.groupby('Year')['Agreements'].count().reset_index(name='counts')但我不知道如何扩展它以获得我想要的 output 。 谢谢

Answer 1

尝试：

out = df.assign(
    Provisions=df.loc[:, "Provision1":"Provision3"].sum(axis=1)
).pivot_table(
    index="Year", aggfunc={"Agreements": "count", "Provisions": ("sum", "mean")}
)
out.columns = [
    f'{b.capitalize().replace("Mean", "Average")} {a} per Year' for a, b in out.columns
]
print(out.reset_index().to_markdown(index=False))

印刷：

年	每年计算协议	每年平均准备金	每年总计准备金
2012	2个	2.5	5个
2013	2个	2个	4个

---

编辑：添加包含“至少有一项规定的协议”计数的列：

out = df.assign(
    Provisions=df.loc[:, "Provision1":"Provision3"].sum(axis=1),
    AggreementsWithAtLeastOneProvision=df.loc[:, "Provision1":"Provision3"].any(axis=1)
).pivot_table(
    index="Year", aggfunc={"Agreements": "count", "AggreementsWithAtLeastOneProvision": "sum", "Provisions": ("sum", "mean")}
)
out.columns = [
    f'{b.capitalize().replace("Mean", "Average")} {a} per Year' for a, b in out.columns
]
print(out.reset_index().to_markdown(index=False))

印刷：

年	Sum AggreementsWithAtLeastOneProvision 每年	每年计算协议	每年平均准备金	每年总计准备金
2012	2个	3个	1.66667	5个
2013	2个	2个	2个	4个

这种情况下的输入数据是：

   Agreements  Year  Provision1  Provision2  Provision3
0  Bratislava  2012           0           0           0
1        Rome  2012           1           1           0
2     NewYork  2012           1           1           1
3       Paris  2013           1           0           1
4       Tokyo  2013           1           1           0

Answer 2

您可以使用melt和agg ：

out = (df.assign(Average=lambda x: x.filter(like='Provision').sum(axis=1))
         .melt(id_vars=['Year', 'Agreements', 'Average'], var_name='Provision').groupby('Year')
         .agg(**{'Count Agreements per Year': ('Agreements', 'nunique'),
                 'Count Provisions per Year': ('value', 'sum'),
                 'Average Provision per Year': ('Average', 'mean')})
         .reset_index())

Output：

>>> out
   Year  Count Agreements per Year  Count Provisions per Year  Average Provision per Year
0  2012                          2                          5                         2.5
1  2013                          2                          4                         2.0

Answer 3

另一种可能的解决方案：

(df.iloc[:,1:].set_index('Year').stack().to_frame()
 .pivot_table(index='Year', values=0, aggfunc=[lambda x: 
     x.count() / 3, 'sum', lambda x: x.sum()/(x.count() / 3)])
 .set_axis(['Count Agreements per Year', 'Count Provisions per Year', 
                  'Average Provision per Year'], axis=1).reset_index())

---

使用numpy方法：

a = df.iloc[:,1:].values
colnames = ['Year','Count Agreements per Year',
            'Count Provisions per Year', 'Average Provision per Year' ]
pd.DataFrame(
    np.vstack(
        [[x[0,0], np.size(x[:,1:])/3, np.sum(x[:,1:]), 
          np.sum(x[:,1:])/(np.size(x[:,1:])/3)] 
         for x in [a[np.where(a[:, 0] == val)] for val in np.unique(a[:, 0])]]), 
    columns=colnames).convert_dtypes()

---

Output：

   Year  Count Agreements per Year  Count Provisions per Year  \
0  2012                          2                          5   
1  2013                          2                          4   

   Average Provision per Year  
0                         2.5  
1                         2.0  

Answer 4

有多种方法可以解决这个问题，这里是一个简单的方法：

首先，将所有“Provision”列合并为一列：

# combining all Provision columns into one column
df['All_Provisions'] = df['Provision1'] + df['Provision2'] + df['Provision3']

其次，使用.agg聚合列，它将您的列和所需的聚合作为字典。 在我们的例子中，我们想要：

1. 算上“协议”一栏
2. 对“All_Provisions”列求和
3. 平均“All_Provisions”列

我们可以这样做：

# aggregating columns
df = df.groupby('Year', as_index=False).agg({'Agreements':'count', 'All_Provisions':['sum', 'mean']})

最后，重命名您的列：

# renaming columns
df.columns = ['Year','Count Agreements per Year','Count Provisions per Year','Average Provision per Year']

希望这可以帮助：）