迁移学习和元学习的区别

Question

meta learning和transfer learning什么区别？

我已经阅读了 2 篇关于Quora和TowardDataScience 的文章。

元学习是机器学习理论的一部分，其中一些算法应用于有关案例的元数据以改进机器学习过程。 元数据包括关于所使用的算法、学习任务本身等的属性。使用元数据，可以更好地决定选择的学习算法以更有效地解决问题。

和

迁移学习旨在利用通过解决有些相似的先前问题所获得的经验来改进学习新任务的过程。 在实践中，大多数时候，机器学习模型旨在完成单个任务。 然而，作为人类，我们不仅利用过去的经验在未来重复相同的任务，而且还学习全新的任务。 也就是说，如果我们尝试解决的新问题与我们过去的一些经验相似，那么对我们来说就会变得更容易。 因此，为了在机器学习中使用相同的学习方法，迁移学习包括迁移一个或多个源任务的过去经验并利用它来促进相关目标任务中的学习的方法。

这些比较仍然让我感到困惑，因为两者在可重用性方面似乎有很多相似之处。 Meta learning被称为“模型不可知”，但它使用来自先前学习任务的元数据（超参数或权重）。 它与transfer learning相同，因为它可以部分重用经过训练的网络来解决相关任务。 我知道还有很多东西要讨论，但从广义上讲，我看不出两者之间有太大区别。

人们还使用meta-transfer learning类的术语，这让我认为这两种类型的学习相互之间有很强的联系。

Answer 1

我认为主要的区别在于迁移学习期望任务大多彼此相似，而元学习则不然。

在迁移学习中，任何参数都可以传递给下一个任务，但元学习更具选择性，因为传递的参数应该编码如何学习，而不是如何解决之前的任务。

Answer 2

在迁移学习中，我们使用大型数据集预训练模型参数，然后使用这些参数作为初始参数对具有较小数据集的其他任务进行微调。 这种经典的预训练方法不能保证学习到有利于微调的初始化。 在元学习中，我们学习一组初始参数，只需几个梯度步骤，就可以在另一个类似的任务上轻松地对这些参数进行微调。 它通过微调过程直接优化了与此初始化相关的性能。