带有加权距离度量的 Scikit-learn 最近邻搜索

Question

尝试使用 minkowski 距离并传递权重，但 sklearn 指标不允许这样做。 尝试了 scipy 的 pdist 和 cdist ，但这些是事先计算距离的！

    import pandas as pd
    from sklearn.neighbors import NearestNeighbors

        X = pd.read_csv('.file.csv')

        weights = [1] * X.shape[1] # filled with 1's for now

        nbrs = NearestNeighbors(
                                algorithm = 'brute',
                                metric = minkowski(u, v, p=1, w=weights), n_jobs = -1)
                               .fit(X)

    distances, indices = nbrs.kneighbors(X=X, n_neighbors=50, return_distance=True)

这将返回：

"NameError: name 'u' is not defined"

callable(minkowski)返回 True！

我知道我没有通过 u 和 v，所以不出所料，错误出现了。 对于使用 sklearn 支持的指标之外的其他指标，此文档有点差。 例如，如何使用 scipy 的加权指标？

Answer 1

您尝试包含权重的方式是您的问题。 由于u和v未定义并且在内部传递给可调用指标，因此您实际上不应将它们包含在您的代码中。 您应该使用来自minkowski functools.partial创建一个偏函数，其中p和w的值是预定义的。

from functools import partial

w_minkowski = partial(minkowski, p=1, w=weights)
nbrs = NearestNeighbors(algorithm='brute', metric=w_minkowski, n_jobs=-1)
nbrs.fit(X)
...

Answer 2

您现在可以使用'wminkowski'指标并使用metric_params将权重传递给该指标。

import numpy as np
from sklearn.neighbors import NearestNeighbors

seed = np.random.seed(9)
X = np.random.rand(100, 5)
weights = np.random.choice(5, 5, replace=False)

nbrs = NearestNeighbors(algorithm='brute',
                        metric='wminkowski',
                        metric_params={'w': weights},
                        p=1,
                        n_jobs=-1)
nbrs.fit(X)

输出：

NearestNeighbors(algorithm='brute', leaf_size=30, metric='wminkowski',
                 metric_params={'w': array([2, 0, 3, 4, 1])}, n_jobs=-1,
                 n_neighbors=5, p=1, radius=1.0)

Answer 3

如果您想对p=1使用 Minkowski 距离，您只需将NearestNeighbors metric参数设置为'manhattan'或'l1' （这些是字符串）。 您还可以将metric设置为'minkowski'并相应地设置p参数。

详情请看这里