微调和少镜头学习有什么区别？

Question

我试图理解fine-tuning和few-shot学习的概念。

我理解微调的必要性。 它本质上是将预训练模型调整为特定的下游任务。 然而，最近我看到大量的博客文章说明零样本学习、单样本学习和少样本学习。

• 它们与微调有何不同？ 在我看来，few-shot learning 是微调的专业化。 我在这里想念什么？

谁能帮帮我吗？

Answer 1

微调 - 当您已经有一个模型训练来执行您想要的任务但在不同的数据集上时，您使用预训练的权重进行初始化并在目标（通常较小）数据集（通常具有较小的学习率）上训练它。

很少的镜头学习 - 当您想使用很少的样本在任何任务上训练模型时。 例如，您有一个针对不同但相关的任务训练的模型，并且您（可选）修改它并使用少量示例训练目标任务。

例如：

微调 - 训练用于意图分类的模型，然后在不同的数据集上对其进行微调。

Few shot learning - 在大型文本数据集上训练语言模型并对其进行修改（通常是最后（少数）层）以通过在小型标记数据集上进行训练来对意图进行分类。

可以有更多的方法来做很少的镜头学习。 再举一个例子，训练模型对图像进行分类，其中某些类的训练样本数量非常少（或 0 表示零镜头，1 表示单镜头）。 在推理中，正确分类这些稀有类（训练中稀有）成为少数镜头学习的目标。