微調和少鏡頭學習有什么區別？

Question

我試圖理解fine-tuning和few-shot學習的概念。

我理解微調的必要性。 它本質上是將預訓練模型調整為特定的下游任務。 然而，最近我看到大量的博客文章說明零樣本學習、單樣本學習和少樣本學習。

• 它們與微調有何不同？ 在我看來，few-shot learning 是微調的專業化。 我在這里想念什么？

誰能幫幫我嗎？

Answer 1

微調 - 當您已經有一個模型訓練來執行您想要的任務但在不同的數據集上時，您使用預訓練的權重進行初始化並在目標（通常較小）數據集（通常具有較小的學習率）上訓練它。

很少的鏡頭學習 - 當您想使用很少的樣本在任何任務上訓練模型時。 例如，您有一個針對不同但相關的任務訓練的模型，並且您（可選）修改它並使用少量示例訓練目標任務。

例如：

微調 - 訓練用於意圖分類的模型，然后在不同的數據集上對其進行微調。

Few shot learning - 在大型文本數據集上訓練語言模型並對其進行修改（通常是最后（少數）層）以通過在小型標記數據集上進行訓練來對意圖進行分類。

可以有更多的方法來做很少的鏡頭學習。 再舉一個例子，訓練模型對圖像進行分類，其中某些類的訓練樣本數量非常少（或 0 表示零鏡頭，1 表示單鏡頭）。 在推理中，正確分類這些稀有類（訓練中稀有）成為少數鏡頭學習的目標。