[英]How to transform a list of dictionaries, containing nested lists into a pandas df
我有一個字典列表:
list_of_dicts = [{'name': 'a', 'counts': [{'dog': 2}]},
{'name': 'b', 'counts': [{'cat': 1}, {'capibara': 5}, {'whale': 10}]},
{'name': 'c', 'counts': [{'horse':1}, {'cat': 1}]]
我想將其轉換為 pandas dataframe ,如下所示:
姓名 | 動物 | 頻率 |
---|---|---|
一個 | 狗 | 2 |
b | 貓 | 1 |
b | 卡比巴拉 | 5 |
b | 鯨 | 10 |
c | 馬 | 1 |
c | 貓 | 1 |
在當前代碼中,我嘗試對其進行規范化:
from pandas import json_normalize
df = json_normalize(list_of_dicts, 'counts')
但我認為我走錯了方向。 此外,如果我做一個簡單的df = pd.DataFrame(list_of_dicts)
,它會導致每個 dicts 列表都是一個單行值,這是不希望的。
pandas.json_normalize
的record_path
和meta
參數。import pandas as pd
# test data
list_of_dicts = [{'name': 'a', 'counts': [{'dog': 2}]}, {'name': 'b', 'counts': [{'cat': 1}, {'capibara': 5}, {'whale': 10}]}, {'name': 'c', 'counts': [{'horse':1}, {'cat': 1}]}]
# load and transform the dataframe
pd.json_normalize(list_of_dicts, 'counts', 'name').set_index('name').stack().reset_index().rename(columns={'level_1': 'Animal', 0: 'Frequency'})
# display(df)
name Animal Frequency
0 a dog 2.0
1 b cat 1.0
2 b capibara 5.0
3 b whale 10.0
4 c horse 1.0
5 c cat 1.0
嘗試json_normalize
與melt
:
(pd.json_normalize(list_of_dicts, record_path='counts', meta='name')
.melt('name', var_name='Animal', value_name='Frequency')
.dropna()
)
Output:
name Animal Frequency
0 a dog 2.0
7 b cat 1.0
11 c cat 1.0
14 b capibara 5.0
21 b whale 10.0
28 c horse 1.0
嘗試這個?
>>> pd.json_normalize(list_of_dicts, 'counts').melt().dropna()
您還可以將df.explode
與df.apply
一起使用:
In [50]: df = pd.DataFrame(list_of_dicts).explode('counts')
In [74]: df.counts = df.counts.apply(lambda x: list(x.items())[0])
In [77]: df[['Animal', 'Frequency']] = pd.DataFrame(df['counts'].tolist(), index=df.index)
In [79]: df.drop('counts', 1, inplace=True)
In [80]: df
Out[80]:
name Animal Frequency
0 a dog 2
1 b cat 1
1 b capibara 5
1 b whale 10
2 c horse 1
2 c cat 1
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.