结合 object 数据类型行和列而不丢失数据

Question

我的任务是从慈善机构设计的移动应用程序中清理数据

在一个部分中，用户 Q/A 应用程序使用 session 由一行表示。 此部分由重复的问题答案字段对组成，其中一个字段表示所提出的问题，然后它旁边的字段表示相应的答案。 每个问题/字段和答案列对一起代表一个带有答案的唯一问题。

起始数据

 answers.0.answer    answers.0.fieldName answers.1.answer    answers.1.fieldName
5   0                    avoidexercise             0.0            vomitflag
6   156                  height                    54.0         weight
7   1                    affectedkneeside           3.0       painlocationknee

理想output

我被要求重新格式化该部分，因此每个问题 forms 一个列，相应的答案该列中的一个字段

理想output

_id                    avoidexercise    enjoyment   fatigue2weeks   height
        

5f27f29c362a380d3f9a9e46    1.0           yes            20.0       120.0
5f27f2ac362a380d3f9a9e4b    0.0           no             40.0       180.0
5f27f4d4362a380d3f9a9e52    1.0           yes            50.0       150.0

在此处输入图像描述

我的计划是创建许多 pivot 表，从彼此的 Q/A 对列，然后连接（外连接）然后内连接以删除重复

但是，原始 dataframe 包含数字和 object 数据类型的混合

因此，似乎只有一些问答列对正在转换为 pivot 表。 我尝试过使用各种聚合函数

p1 = ur.pivot_table(index=['_id'],columns= ['answers.0.fieldName'],values=['answers.0.answer'],aggfunc=lambda x: ' '.join(x))
p2 = ur.pivot_table(index=['_id'],columns= ['answers.1.fieldName'],values=['answers.1.answer'],aggfunc=lambda x: ' '.join(x))
p3 = ur.pivot_table(index=['_id'],columns= ['answers.2.fieldName'],values=['answers.2.answer'],aggfunc=lambda x: ' '.join(x))
I have also tried another lambda function

p1 = ur.pivot_table(index=['_id'],columns= ['answers.0.fieldName'],values=['answers.0.answer'],aggfunc=lambda x: ' '.join(str(v) for v in x)

到目前为止，我得到的最远的是使用标准均值 aggfunc 运行枢轴

p1 = ur.pivot_table(index=['_id'],columns=['answers.0.fieldName'],values=['answers.0.answer'])
ps = [p1,p2,p3]
c = pd.concat(ps)

然后尝试删除合并行和列

df = c.sum(axis=1, level=1, skipna=False)

g = df.groupby('_id').agg(np.sum)
This returns a dataframe with the right shape

但是，它丢失了 object 列中的值，我不确定所有数字列的准确度

为了克服这个问题，我正在考虑将尽可能多的数据转换为数字

c4 = c.apply(pd.to_numeric, errors='ignore').info()

然后将组合的 pivot 表 dataframe 拆分为数字和 object 类型

nu = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
cndf = c4.select_dtypes(include=nu)
o = ['object', 'bool', 'datetime64', 'category']
codf = c4.select_dtypes(include=o)

并在数字 dataframe 上运行与上述相同的 sum 和 groupby 操作

n1 = cndf.sum(axis=1, level=1, skipna=False)
n2 = n1.groupby('_id').agg(np.sum)

然而，这仍然留下了处理 object 列的挑战