当我有固定的训练和测试数据集时，如何对模型性能进行统计显着性测试？
[英]How to do statistical significance test of model performance when I have a fixed train and test dataset?
问题描述
在文献中，ML 模型性能的统计显着性通常通过 k 折叠技术显示，您将数据集划分为 k 折叠，使用这些折叠获得 k 性能分数，并执行统计显着性检验。 就我而言，我有一个小数据集，并且该数据集已经分为训练集和测试集，其中训练集小于测试集。 所以我不能对整个数据集执行 k 倍 CV 以获得 k 性能分数，我可以稍后将其用于统计显着性分析。 并且仅使用训练集进行 k 折 CV 以获得不同的性能分数对我来说没有任何意义，因为这与测试数据无关。
在这种情况下应该怎么做？ 在一篇博文中，有人说如果测试集相对较大，那么您可以将测试集重新采样为 k 个测试集，以获得不同的性能指标进行统计测试。 这种方式有没有相关的相关工作或参考资料？
0 个解决方案
当训练集和测试集是单独的数据集时，如何评估 svm 分类器预测的重要性？
[英]How to evaluate the significance of the prediction of an svm classifier, when the train and test sets are separate datasets?
当测试和训练数据集来自不同来源时，为什么测试精度保持不变并且不会增加二进制分类
[英]Why test accuracy remains constant and do not increase in binary classification when test and train dataset are from different source
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.