根据列中的嵌套JSON添加DataFrame列

Question

我有以下Pandas Dataframe（名为dx ）：

                                    _id  user_type
0  {'$oid': '5b9058462f38434ab0d85cd3'}          1
1  {'$oid': '5b9058462f38434ab0d85ce9'}          1
2  {'$oid': '5b9058462f38434ab0d85ced'}          1
3  {'$oid': '5b9058462f38434ab0d85cee'}          1
4  {'$oid': '5b9058462f38434ab0d85cef'}          1

它来自一个大的JSON（此示例中大约有500.000行和更多的列），如您所见， _id包含嵌套的JSON。

对于此示例，我的目标是使用oid代码获得一个名为oid的新列：

                                    _id  user_type                       oid
0  {'$oid': '5b9058462f38434ab0d85cd3'}          1  5b9058462f38434ab0d85cd3
1  {'$oid': '5b9058462f38434ab0d85ce9'}          1  5b9058462f38434ab0d85ce9
2  {'$oid': '5b9058462f38434ab0d85ced'}          1  5b9058462f38434ab0d85ced
3  {'$oid': '5b9058462f38434ab0d85cee'}          1  5b9058462f38434ab0d85cee
4  {'$oid': '5b9058462f38434ab0d85cef'}          1  5b9058462f38434ab0d85cef

我使用以下代码段实现了结果：

dx['oid']=None
for i in dx.index:
     dx['oid'][i]=dx.at[i,'_id']['$oid']

这给了我我想要的东西，但是非常慢。 该示例的列（仅5行）需要3-4分钟！

如何根据其他具有JSON值的列来优化新列的创建？

我不能使用正则表达式，因为嵌套JSON比示例中的JSON复杂。

Answer 1

这是object列类型，在单元格中包含单个dict ，因此

df['$oid']=df['_id'].map(lambda x : x['$oid'])

要么

s=df['_id'].apply(pd.Series)
s
#df=pd.concat([df,s],axis=1)
Out[601]: 
                       $oid
0  5b9058462f38434ab0d85cd3
1  5b9058462f38434ab0d85ce9
2  5b9058462f38434ab0d85ced
3  5b9058462f38434ab0d85cee
4  5b9058462f38434ab0d85cef

Answer 2

您可以使用operator.itemgetter 。 由于您的输入序列具有object dtype，因此无法进行矢量化解决方案。

from operator import itemgetter

field_name = '$oid'
df[field_name] = list(map(itemgetter(field_name), df['_id']))

可以使用更多通用的解决方案，请参阅将Pandas列中的字典/列表拆分为单独的列 。