[英]Python, Cosine Similarity to Adjusted Cosine Similarity
我希望通過余弦相似度將Python的協作過濾轉換為調整后的余弦相似度。
基於余弦相似度的實現如下所示:
import pandas as pd
import numpy as np
from scipy.spatial.distance import cosine
from scipy.spatial.distance import pdist, squareform
data = pd.read_csv("C:\\Sample.csv")
data_germany = data.drop("Name", 1)
data_ibs = pd.DataFrame(index=data_germany.columns,columns=data_germany.columns)
for i in range(0,len(data_ibs.columns)) :
for j in range(0,len(data_ibs.columns)) :
data_ibs.ix[i,j] = 1-cosine(data_germany.ix[:,i],data_germany.ix[:,j])
data_neighbours = pd.DataFrame(index=data_ibs.columns,columns=range(1,6))
for i in range(0,len(data_ibs.columns)):
data_neighbours.ix[i,:] = data_ibs.ix[0:,i].sort_values(ascending=False)[:5].index
df = data_neighbours.head().ix[:,2:6]
print df
使用的Sample.csv如下所示:
其中1
表示用戶購買了特定水果,反之0
表示用戶未購買特定水果
當我運行上面的代碼時,我得到的是:
行是水果,列是相似度等級(降序)。 在此示例中, Pear
與Apple
最相似, Melon
與Apple
最相似,依此類推。
我遇到了有關“調整余弦相似度”的文章 ,並且嘗試將這種方法集成到我的代碼中。 在這種情況下,數據是用戶對水果給出的評分分數:
這是我的嘗試:
data_ibs = pd.DataFrame(index=data_germany.columns,columns=data_germany.columns)
M_u = data_ibs.mean(axis=1)
M = np.asarray(data_ibs)
item_mean_subtracted = M - M_u[:, None]
for i in range(0,len(data_ibs.columns)) :
for j in range(0,len(data_ibs.columns)) :
data_ibs.ix[i,j] = 1 - squareform(pdist(item_mean_subtracted.T, "cosine")) ### error
data_neighbours = pd.DataFrame(index=data_ibs.columns,columns=range(1,6))
for i in range(0,len(data_ibs.columns)):
data_neighbours.ix[i,:] = data_ibs.ix[0:,i].sort_values(ascending=False)[:5].index
df = data_neighbours.head().ix[:,2:6]
但是我被困住了。 我的問題是:如何將調整后的余弦相似度成功應用於該樣本?
這是基於NumPy的解決方案。
首先,我們將評分數據存儲到一個數組中:
fruits = np.asarray(['Apple', 'Orange', 'Pear', 'Grape', 'Melon'])
M = np.asarray(data.loc[:, fruits])
然后我們計算調整后的余弦相似度矩陣:
M_u = M.mean(axis=1)
item_mean_subtracted = M - M_u[:, None]
similarity_matrix = 1 - squareform(pdist(item_mean_subtracted.T, 'cosine'))
最后,我們按相似度從高到低的順序對結果進行排序:
indices = np.fliplr(np.argsort(similarity_matrix, axis=1)[:,:-1])
result = np.hstack((fruits[:, None], fruits[indices]))
DEMO
In [49]: M
Out[49]:
array([[ 0, 10, 0, 1, 0],
[ 6, 0, 0, 0, 2],
[ 1, 0, 20, 0, 1],
[ 0, 3, 6, 0, 18],
[ 3, 0, 2, 0, 0],
[ 0, 2, 0, 5, 0]])
In [50]: np.set_printoptions(precision=2)
In [51]: similarity_matrix
Out[51]:
array([[ 1. , 0.01, -0.41, 0.48, -0.44],
[ 0.01, 1. , -0.57, 0.37, -0.26],
[-0.41, -0.57, 1. , -0.56, -0.19],
[ 0.48, 0.37, -0.56, 1. , -0.51],
[-0.44, -0.26, -0.19, -0.51, 1. ]])
In [52]: result
Out[52]:
array([['Apple', 'Grape', 'Orange', 'Pear', 'Melon'],
['Orange', 'Grape', 'Apple', 'Melon', 'Pear'],
['Pear', 'Melon', 'Apple', 'Grape', 'Orange'],
['Grape', 'Apple', 'Orange', 'Melon', 'Pear'],
['Melon', 'Pear', 'Orange', 'Apple', 'Grape']],
dtype='|S6')
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.