如何检查 pivot_table 的输入 DataFrame 中是否包含所有值，并创建并填充 0 一些在 Python Pandas 中不存在的值？

Question

我在 Python Pandas 中有如下表：

输入：

df = pd.DataFrame()
df["ID"] = [111,222,333]
df["TYPE"] = ["A", "A", "C"]
df["VAL_1"] = [1,3,0]
df["VAL_2"] = [0,0,1]

df:

ID   | TYPE  | VAL_1 | VAL_2
-----|-------|-------|-------
111  | A     |  1    | 0 
222  | A     |  3    | 0
333  | C     |  0    | 1

我需要使用如下代码创建数据透视表：

df_pivot = pd.pivot_table(df, 
                          values=['VAL_1', 'VAL_2'],
                          index=['ID'],
                          columns='TYPE', 
                          fill_value=0)
df_pivot.columns = df_pivot.columns.get_level_values(1)  + '_' + df_pivot.columns.get_level_values(0)
df_pivot = df_pivot.reset_index()

df_pivot（上述代码的结果）：

要求：

• 输入 df 在“TYPE”列中应具有以下值：A、B、C。
• 但是，输入 df 是 SQL 中的某些查询的结果，因此有时“TYPE”列中可能缺少某些值（A、B、C）
• 我需要检查输入 df 是否在“类型”列中包含所有类别（A、B、C），如果不在 df_pivot 中则创建此类别并填充 0

Output：我需要如下内容：

ID	A_VAL_1	C_VAL_1	A_VAL_2	C_VAL_2	B_VAL_1	B_VAL_2
111	1个	0	0	0	0	0
222	3个	0	0	0	0	0
333	0	0	0	0	0	0

如您所见，值“B”不在“TYPE”列的输入 df 中，因此在 df_pivot 中创建了“B”（B_VAL_1，B_VAL_2）填充为 0 的列。

我怎样才能在 Python Pandas 中做到这一点？

Answer 1

您可以获得“值”列的名称以及“类型”列中缺少的类型，对它们进行笛卡尔积（例如，（B，VAL_1））并引入那些初始化为 0 且下划线连接的列（例如，B_VAL_1)：

from itertools import product

val_cols = df.columns.difference(["ID", "TYPE"])
missings = pd.Index(["A", "B", "C"]).difference(df["TYPE"])

df_pivot[[*map("_".join, product(missings, val_cols))]] = 0

要得到

>>> df_pivot

    ID  A_VAL_1  C_VAL_1  A_VAL_2  C_VAL_2  B_VAL_1  B_VAL_2
0  111        1        0        0        0        0        0
1  222        3        0        0        0        0        0
2  333        0        0        0        1        0        0

Answer 2

在 pivot_table 中使用Categorical和 observed=False, pivot_table observed=False, dropna=False参数：

df['TYPE'] = pd.Categorical(df['TYPE'], categories=['A', 'B', 'C'])

df_pivot = pd.pivot_table(df, 
                          values=['VAL_1', 'VAL_2'],
                          index=['ID'],
                          columns='TYPE', 
                          observed=False, dropna=False,
                          fill_value=0)
df_pivot.columns = df_pivot.columns.get_level_values(1).astype(str)  + '_' + df_pivot.columns.get_level_values(0)
df_pivot = df_pivot.reset_index()

Output：

    ID  A_VAL_1  B_VAL_1  C_VAL_1  A_VAL_2  B_VAL_2  C_VAL_2
0  111        1        0        0        0        0        0
1  222        3        0        0        0        0        0
2  333        0        0        0        0        0        1