在进行文本分类时，训练和测试文本在被标记化后需要具有相同的形状

Question

我正在重新审视我使用路透社数据集所做的一个项目，虽然我的模型有一些轻微的过度拟合，但训练准确度为 99，验证为 96 左右。当我在测试数据上评估模型时，我的准确度约为 27%。 所以我想知道这是不是因为训练和测试数据的形状不同。

print(one_hot_train_results.shape)
print(one_hot_test_results.shape)

回来

(5485, 10000) (2189, 10000)

Answer 1

通常，如果您的形状错误，您应该得到一个错误，而不仅仅是性能不佳。

形状是否需要相同取决于您使用的模型类型。 有些模型可以接受任意长度的输入，有些模型只能处理固定长度的东西，并且需要使用填充或某种方式组合过长的文档。