如何从Python中的字典中获取对称矩阵

Question

我有一个关于 Python 中数据操作的基本问题。

我有以下字典：

mydict={('A', 'E'): 23972,
 ('A', 'D'): 10730,
 ('A', 'B'): 14748,
 ('A', 'C'): 3424,
 ('E', 'D'): 3294,
 ('E', 'B'): 16016,
 ('E', 'C'): 3373,
 ('D', 'B'): 69734,
 ('D', 'C'): 4662,
 ('B', 'C'): 159161}

如果仔细观察，这是具有空对角线的对称矩阵的一半（不包括 0）。 我的最终目标是编写一个带有完整矩阵的 Pandas 数据框。

暂定方案

我想过“解包”字典获得 5 个列表，每个标签一个，所有值都与其他标签相关，在列表的自我位置上添加一个 0。 对于标签“A”和“B”，期望的结果是：

A=[0,mydict(['A','B']),mydict(['A','C']),mydict(['A','D']),mydict(['A','E'])]
B=[mydict(['A','B']),0,mydict(['B','C']),mydict(['D','B']),mydict(['E','B'])]

依此类推 C、D、E。 请注意，在 B 中，第 4 和第 5 个元素是 mydict(['D','B']) 和 mydict(['E','B'])，因为 mydict(['B','D'])而 mydict(['B','E']) 在 mydict 中根本不存在。

通过这种方式，我可以轻松地从这些列表中填充数据框：

import pandas as pd
df=pd.DataFrame(columns=['A','B','C','D','E'])
df['A']=A
df['B']=B

题

我不太确定如何将 mydict “解包”到这些列表中，或者可以帮助我构建矩阵的任何其他容器中。 有什么建议？

Answer 1

一种选择是以完整矩阵格式重建字典，然后使用熊猫对其进行旋转：

import pandas as pd
mydict={('A', 'E'): 23972,
 ('A', 'D'): 10730,
 ('A', 'B'): 14748,
 ('A', 'C'): 3424,
 ('E', 'D'): 3294,
 ('E', 'B'): 16016,
 ('E', 'C'): 3373,
 ('D', 'B'): 69734,
 ('D', 'C'): 4662,
 ('B', 'C'): 159161}
 
 
# construct the full dictionary
newdict = {}

for (k1, k2), v in mydict.items():
    newdict[k1, k2] = v
    newdict[k2, k1] = v
    newdict[k1, k1] = 0
    newdict[k2, k2] = 0

# pivot the result from long to wide
pd.Series(newdict).reset_index().pivot(index='level_0', columns='level_1', values=0)

#level_1      A       B       C      D      E
#level_0                                     
#A            0   14748    3424  10730  23972
#B        14748       0  159161  69734  16016
#C         3424  159161       0   4662   3373
#D        10730   69734    4662      0   3294
#E        23972   16016    3373   3294      0

或者正如@Ch3steR 所评论的那样，您也可以只为枢轴执行pd.Series(newdict).unstack() 。

演示链接

Answer 2

我能想到的是首先将 dict 值填充到数组中，然后构造数据帧。

mydict={('A', 'E'): 23972,
 ('A', 'D'): 10730,
 ('A', 'B'): 14748,
 ('A', 'C'): 3424,
 ('E', 'D'): 3294,
 ('E', 'B'): 16016,
 ('E', 'C'): 3373,
 ('D', 'B'): 69734,
 ('D', 'C'): 4662,
 ('B', 'C'): 159161}
 
import numpy as np
import pandas as pd

a = np.full((5,5),0)
ss = 'ABCDE'

for k, i in mydict.items():
    f,s = k 
    fi = ss.index(f)
    si = ss.index(s)
    a[fi,si] = i
    a[si,fi] = i

# if you want to keep the diagonal
df = pd.DataFrame(a)

# if you want to remove diagonal:
no_diag = np.delete(a,range(0,a.shape[0]**2,(a.shape[0]+1))).reshape(a.shape[0],(a.shape[1]-1))

df = pd.DataFrame(no_diag)

Answer 3

这是一个直接的解决方案，它也不应该花费太多时间来运行 -

cols = np.unique(list(mydict.keys())).ravel()

df = pd.DataFrame(0, columns=cols, index=cols)

for i in mydict.items():
    df.loc[i[0]] = i[1] 

df = df + df.T
print(df)

       A       B       C      D      E
A      0   14748    3424  10730  23972
B  14748       0  159161  69734  16016
C   3424  159161       0   4662   3373
D  10730   69734    4662      0   3294
E  23972   16016    3373   3294      0

---

基准

添加基准（303 长度输入，MacBook pro 13）-

kk = 'ABCDEFGHIJKLMNOPQURSUVWXYZ'
mydict = {i:np.random.randint(1,10000) for i in itertools.combinations(kk,2)}
len(mydict)
#303

• 融合的方法- 每个循环 392 µs ± 16.4 µs（平均值 ± 标准偏差，7 次运行，每次 1000 次循环）
• Psidom 的方法- 每个循环 4.95 ms ± 286 µs（平均值 ± 标准偏差，7 次运行，每次 100 次循环）
• Akshay Sehgal 的方法- 每个循环 34.8 ms ± 884 µs（平均值 ± 标准偏差，7 次运行，每次 10 次循环）
• Ben.T 的方法- 每个循环 4.01 ms ± 282 µs（平均值 ± 标准偏差，7 次运行，每次 100 次循环）

Fusion 的方法是最快的。

Answer 4

一旦创建一个系列形式的字典，然后unstack以获取数据帧。 获取索引和列的并union ，以便能够使用所有可能的值重新reindex两者。 将此数据帧的转置添加到自身以获取缺失值。

df_ = pd.Series(mydict).unstack(fill_value=0)
idx = df_.index.union(df_.columns)
df_ = df_.reindex(index=idx, columns=idx, fill_value=0)
df_ += df_.T

print(df_)
       A       B       C      D      E
A      0   14748    3424  10730  23972
B  14748       0  159161  69734  16016
C   3424  159161       0   4662   3373
D  10730   69734    4662      0   3294
E  23972   16016    3373   3294      0