繁体   English   中英

我如何保存需要更少 memory 的机器学习 model

[英]How can i save a machine learning model that takes less memory

我正在训练一个 RandomForest 分类器,它的数据集有些大,大约 580mb,需要 30 多分钟才能适应。 现在,当我尝试使用 joblib 保存 model 时,保存的 model 需要大约 11.1gb 的空间。 这是正常的,还是我可以更有效地节省 model 在我正在考虑部署 model 时占用的空间。

是否值得使用占用如此多空间的 model,因为我有一个决策树 model 在相同的数据上占用 278mb 空间,它的准确性仅低 2%(91%)

我的笔记本

这是 model 保存代码

from sklearn.externals import joblib  
# Save the model as a pickle in a file 
joblib.dump(Random_classifier, '/content/drive/My Drive/Random_classifier.pkl') 

我是新手,所以不要投票结束问题,只需发表评论即可。 我愿意尽快编辑问题。

随机森林分类方法在 memory 中非常昂贵。 尝试降低您的决策树数量,可能会减少一些 memory。 看来您的数据集也很大,所以我认为您的权重大小似乎是合法的。 我也知道有泡菜的方法可以减轻重量,我也建议您检查一下。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM