如何计算 Pandas dataframe 中同时包含一组列中的值和另一列中的另一个值的行数？

Question

# import packages, set nan
import pandas as pd
import numpy as np
nan = np.nan

---

问题

我有一个 dataframe，其中一定数量的观察值作为列，测量值作为行。 观察结果为A, B, C, D... 。 它还有一个类别列，表示测量的类别。 分类： a, b, c, d... 如果一列连续包含一个nan ，则意味着尚未进行该测量期间的观察（因此nan不是observation ，而是缺少观察）。 一个MRE ：

data = {'observation0': ['A','A','A','A','B'],'observation1': ['B','B','B','C',nan], 'category': ['a', 'b', 'c','a','b']}
df = pd.DataFrame.from_dict(data)

df看起来像这样：

我想计算使用每个测量类别（即a, b, c, d... ）观察每个观察结果（即A, B, C, D... ）的次数。

我想得到：

obs_A_in_cat_a    2
obs_A_in_cat_b    1
obs_A_in_cat_c    1
obs_B_in_cat_a    1
obs_B_in_cat_b    2
obs_B_in_cat_c    1
obs_C_in_cat_a    1
obs_C_in_cat_b    0
obs_C_in_cat_c    0

观察A出现在index 0和3的行中（见上面的 df），而测量category为a ，因此obs_A_in_cat_a为2 。 观察A在category为 : b的测量中仅出现一次（行index 1 ），因此obs_A_in_cat_b为1 ，依此类推。

---

我的解决方案

首先，我收集观察结果， 注意不要包括 nans ：

observations = pd.unique(pd.concat([df[col] for col in df.columns if 'observation' in col]).dropna())

它们所属的不同类别：

categories = pd.unique(df['category'])

然后，迭代观察。 如果是靠这个，

for observation in observations:
    for category in categories:
        df['obs_'+observation+'_in_cat_'+category]=\
        df.apply(lambda row: int(observation in [row[col]
                                                 for col in df.columns
                                                 if 'observation' in col]
                                 and row['category'] == category),axis=1)

lambda function 检查observation是否出现在每一row中，以及测量是否属于迭代中当前考虑的类别。 创建新列，标题为 obs_OBSERVATION_in_cat_CATEGORY，其中OBSERVATION为A, B, C, D... ， CATEGORY为a, b, c, d...如果在测量期间进行了categoryY Y 中的observationX X，则obs_OBSERVATIONX_in_cat_CATEGORYY为1在对应于该测量的行中，否则为0 。

生成的df （它的一部分）如下所示：

完成使用sum()计算新创建的列的值，选择具有条件列表理解的那些：

df[[col for col in df.columns if '_in_cat_' in col]].sum()

这给了我想要得到的 output，如上所示。 整个笔记本在这里。

---

问题

这种方法似乎可行，但速度太慢，难以在现实生活中轻松应用。 我怎样才能让它更快？ 我正在寻找类似的东西：

how_many_times_each_observation_was_made_using_each_category_of_measurement(
df,
list_of_observation_columns,
category_column)

Answer 1

使用MultiIndex的解决DataFrame.melt ， GroupBy.size用于计数值，为Series.reindex缺少的组合添加0 ：

s = df.melt('category').groupby(['value','category']).size()
s = s.reindex(pd.MultiIndex.from_product(s.index.levels), fill_value=0)
print (s)
value  category
A      a           2
       b           1
       c           1
B      a           1
       b           2
       c           1
C      a           1
       b           0
       c           0
dtype: int64

最后可以通过f-string s 将其展平：

s.index = s.index.map(lambda x: f'obs_{x[0]}_in_cat_{x[1]}')   
print (s)
obs_A_in_cat_a    2
obs_A_in_cat_b    1
obs_A_in_cat_c    1
obs_B_in_cat_a    1
obs_B_in_cat_b    2
obs_B_in_cat_c    1
obs_C_in_cat_a    1
obs_C_in_cat_b    0
obs_C_in_cat_c    0
dtype: int64

Answer 2

您可以将melt与交叉表结合使用以获得 output：

s = df.melt("category")
s = pd.crosstab(s.value, s.category).stack()
s.index = [f"obs_{first}_in_cat_{last}" for first, last in s.index]

s

obs_A_in_cat_a    2
obs_A_in_cat_b    1
obs_A_in_cat_c    1
obs_B_in_cat_a    1
obs_B_in_cat_b    2
obs_B_in_cat_c    1
obs_C_in_cat_a    1
obs_C_in_cat_b    0
obs_C_in_cat_c    0
dtype: int64

Answer 3

您可以通过以下方式进行：

dfT = []
for colName in ['observation0','observation1']:
    df1 = df.groupby([colName,'category'])['category'].count().to_frame()
    df1.columns = ['count']
    df1 = df1.reset_index()
    df1['label'] = 'obs_'+df1[colName]+'_cat_'+df1['category']
    df1 = df1.loc[:,['label','count']]
    dfT.append(df1)

dfT = pd.concat(dfT,axis=0).reset_index(drop=True)