如何对庞大的数据集进行交叉验证和超参数调整？
[英]how to do cross validation and hyper parameter tuning for huge dataset?
问题描述
我有一个10 + gb的csv文件，我在pandas.read_csv（）中使用了“ chunksize”参数来读取和预处理数据，以训练该模型要使用一种在线学习算法。
通常在整个训练数据集上进行交叉验证和超参数调整，并使用最佳超参数训练模型，但是在海量数据的情况下，如果我对训练数据块进行相同的操作选择超参数？
1 个解决方案
解决方案1
0 已采纳 2017-09-26 06:13:13
我相信您正在寻找在线学习算法，例如本链接针对大型数据集的缩放策略中提到的算法。 您应该使用支持partial_fit参数的算法来分块加载这些大型数据集。 您还可以查看以下链接，以查看哪一个对您有最大的帮助，因为您尚未指定确切的问题或正在使用的算法：
编辑 ：如果您想解决类不平衡问题，可以尝试一下： python中的imabalanced-learn库
使用前馈神经网络进行超参数调整和过拟合 - Mini-Batch Epoch 和交叉验证
[英]Hyper-parameter tuning and Over-fitting with Feed-Forward Neural Network - Mini-Batch Epoch and Cross Validation
在 xgboost 中对 XGBRegressor 进行超参数调整时出错
[英]Error while hyper parameter tuning of XGBRegressor in xgboost
使用 AI Platform 超参数调优功能时如何强制参数依赖？
[英]How to force parameter dependency when using AI Platform hyper parameter tuning capability?
Scikit学习：超参数调整后，对整个数据集使用交叉验证
[英]Scikit-learn: use cross-validation on whole dataset after hyperparameters tuning
如何使用 GridSearchCV 比较多个模型以及 python 中的管道和超参数调整
[英]How to use GridSearchCV for comparing multiple models along with pipeline and hyper-parameter tuning in python
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.