Pytorch：使用 nn.Embedding 编码分类特征

Question

我是 Pytorch 的新手。 我学习了一些关于如何使用 pytorch 构建简单 NN 模型的教程，例如（ 这个）。 我发现他们更喜欢 nn.Embedding 来编码分类特征。 我的问题是：（1）为什么不使用一种热编码？ (2) nn.Embedding 是随机初始化的，我认为embeddings的数值不会被训练，因为它们被视为输入。 如果 nn.Embedding 随机初始化分类特征，是否会对训练产生负面影响？

Answer 1

(1) 嵌入通常是低维和连续的。 这使它们更适合神经网络训练。

(2) 如果你刚刚初始化它们，它们应该被训练。 它们被认为是模型的一部分，有点像将 one-hot 编码值与模型的其余部分连接起来的连接点。