使用ID /键/值将字典转换为三列数据框

Question

我确定这已经在某处得到了回答，但是查询它有点棘手。

我有一个字典，该字典的结构是一个ID字段，然后是1个多个键值对，例如：

{ '123' : {'name': 'Joe', 'age': '17 },
  '888' : {'name': 'Cheryl', 'hometown': 'Liverpool'},
  '432' : {'name': 'Raj'}
 }

我想将其放入结构为三列的SQL表中：id | 财产名称| 属性值，例如：

123 | name | Joe
123 | age  | 17
888 | name | Cheryl
888 | hometown | Liverpool
432 | name | Raj

我的计划是通过一个熊猫DataFrame，然后to_sql它。 问题是使用字典创建数据框，尝试使ID列标题和每个可能的属性名称都成为一行。

问题1：将我的字典转换为3列数据框以循环通过的唯一方法是将值附加到三个数组吗？

问题2：是否有必要穿过大熊猫？ 仅使用sqlalchemy并填写INSERT查询会更好吗？

Answer 1

您可以使用Series

pd.Series(d).apply(pd.Series).stack().reset_index()
Out[206]: 
  level_0   level_1          0
0     123       age         17
1     123      name        Joe
2     432      name        Raj
3     888  hometown  Liverpool
4     888      name     Cheryl

Answer 2

使用from_dict的另一种方法

d = { '123' : {'name': 'Joe', 'age': '17'},
   '888' : {'name': 'Cheryl', 'hometown': 'Liverpool'},
   '432' : {'name': 'Raj'}
  }    
df = pd.DataFrame.from_dict(d, orient = 'index').unstack().reset_index()
df
        level_0 level_1          0
    0      name     123        Joe
    1      name     432        Raj
    2      name     888     Cheryl
    3       age     123         17
    4       age     432        NaN
    5       age     888        NaN
    6  hometown     123        NaN
    7  hometown     432        NaN
    8  hometown     888  Liverpool

如果要删除NaN，只需将.dropna()添加到语句末尾。

df = pd.DataFrame.from_dict(d, orient = 'index').unstack().reset_index().dropna()
df
        level_0 level_1          0
    0      name     123        Joe
    1      name     432        Raj
    2      name     888     Cheryl
    3       age     123         17
    8  hometown     888  Liverpool