為什么我們可以分類時使用度量學習

Question

到目前為止，我已經閱讀了一些被高度引用的度量學習論文。 這些論文的一般思想是學習一種映射，使得具有相同標簽的映射數據點彼此靠近，遠離其他類的樣本。 為了評估此類技術，他們報告了 KNN 分類器在生成的嵌入上的准確性。 所以我的問題是，如果我們有一個帶標簽的數據集，並且我們有興趣提高分類任務的准確性，為什么我們不在原始數據點上學習分類器。 我的意思是，我們可以學習適合（非嵌入）數據點的分類器，而不是尋找適合 KNN 分類器的新嵌入。 根據我目前所讀的內容，此類分類器的分類精度比度量學習方法要好得多。 是否有研究表明度量學習+KNN 至少在某些數據集上比擬合（好的）分類器表現更好？

Answer 1

度量學習模型可以是分類器。 所以我將回答為什么我們需要度量學習來進行分類的問題。

讓我舉一個例子。 當你有數百萬類的數據集，而有些類只有有限的例子，假設少於 5 個。如果你使用 SVM 或普通 CNN 等分類器，你會發現無法訓練，因為這些分類器（判別模型）將完全忽略少數例子的類別。

但是對於度量學習模型，這不是問題，因為它們是基於生成模型的。

順便說一句，大量的類別對判別模型本身來說是一個挑戰。

現實生活中的挑戰激勵我們探索更多更好的模型。

Answer 2

正如@Tengerye 提到的，您可以使用使用度量學習訓練的模型進行分類。 KNN 是最簡單的方法，但您可以采用數據的嵌入並訓練另一個分類器，無論是 KNN、SVM、神經網絡等。在這種情況下，度量學習的使用是將原始輸入空間更改為另一個一個分類器更容易處理的。

除了在數據不平衡時難以訓練判別模型，或者更糟的是，每個類的示例很少之外，它們不能輕易擴展到新類。

以人臉識別為例，如果人臉識別模型被訓練成分類模型，這些模型將只對它見過的人臉有效，對任何新人臉都不起作用。 當然，您可以為要添加的人臉添加圖像，並在可能的情況下重新訓練模型或微調模型，但這是非常不切實際的。 另一方面，使用度量學習訓練的面部識別模型可以為新面孔生成嵌入，可以輕松將其添加到 KNN，然后您的系統可以根據他/她的圖像識別新人。