从成对列表python创建对称矩阵以对scikit，DBSCAN进行聚类

Question

我的目标是使用来自scikit的DBSCAN与预先计算的相似度矩阵执行聚类。 我有一个功能列表。 我进行成对生成列表的唯一对，并具有一个计算对之间相似度的函数。 现在，我想将其转换为可以用作聚类算法输入的对称矩阵。 我认为groupby可能会有所帮助，但是我不确定该怎么做。 这是一个示例代码，给出了一个带有距离度量的对的列表。原始列表中的id字段是唯一的行标识符。

def add_similarity(listdict):
    random.seed(10)
    newlistdist=[]
    for tup_dict in listdict:
        newdict={}
        tup0=tup_dict[0]
        tup1=tup_dict[1]
        for key,value in tup0.items():
            newdict[key +"_1"]=value
        for key,value in tup1.items():
            newdict[key+"_2"]=value 
        newdict["similarity"]=random.random()      
        newlistdist.append(newdict)                   
    return newlistdist


def generatesymm():
    listdict =[{'feature1': 4, 'feature2':2,"id": 100},{'feature1': 3, 'feature2': 2,"id":200},{'feature1': 4, 'feature2':2,"id": 300}]
    pairs=list(itertools.combinations(listdict, 2) )
    newlistdict=add_similarity(pairs)

如果我运行此代码，这将给

    [{'id_2': 200, 'feature1_2': 3, 'feature2_2': 2, 'feature2_1': 2, 'feature1_1': 4, 'similarity': 0.571, 'id_1': 100},     


{'id_2': 300, 'feature1_2': 4, 'feature2_2': 2, 'feature2_1': 2, 'feature1_1': 4, 'similarity': 0.42, 'id_1': 100},   


{'id_2': 300, 'feature1_2': 4, 'feature2_2': 2, 'feature2_1': 2, 'feature1_1': 3, 'similarity': 0.578, 'id_1': 200}]

我需要的输出

          100       200       300


100        1         0.571      0.42  


200        0.571      1          0.578


300        0.428      0.578       1

Answer 1

我不清楚id_3来源，但是下面是制作数据id_3一种方法。 诀窍是使用numpy索引矩阵的上部和下部三角形部分。

In [679]:
import numpy as np
import pandas as pd
similarities = [x["similarity"] for x in newlistdict]
names = ['id_'+str(x) for x in range(1,4)]
n = len(similarities)
iuu = np.mask_indices(3, np.triu, 1)
iul = np.mask_indices(3, np.tril, -1)
mat = np.eye(n)
mat[iuu] = similarities
mat[iul] = similarities
df = pd.DataFrame(mat,columns=names)
df.index = names
df

Out[679]:
        id_1        id_2        id_3
id_1    1.000000    0.896082    0.897818
id_2    0.896082    1.000000    0.186298
id_3    0.897818    0.186298    1.000000

（这些值与您的问题有所不同，因为我不知道您使用的随机种子。）