在Windows 8上将R模型转换为PMML是否有大小限制？

Question

我尝试了几次，以将pmml包中的pmml函数应用于由randomForest包创建的随机森林模型（'model.rf'）：

> library(randomForest)
> dim(data)
[1]  32000 76
> model.rf <- randomForest(x=data[,2:76],y=data[,1],type='regression',ntree=150)
> library(pmml)
> model.rf.pmml<-pmml(model.rf)

每次在Windows 8系统（i7-4500U / 8GB RAM）上花费几个小时，直到R崩溃。

该模型很大。 .RData文件（仅包含模型）约为。 磁盘上10mb，并：

> model.rf$forest$nrnodes
[1] 5819

崩溃是由于内存不足吗？ 我意识到R进程在崩溃之前实际上占据了所有可用内存。 如果是这样，需要什么系统将我的模型转换为pmml？

同样从虹膜示例来看，磁盘上的大小似乎增加了约15倍，因为与R数据文件相比，XML不是压缩格式：

> library(randomForest)
> iris.rf <- randomForest(Species ~ ., data=iris, ntree=20)
> save(iris.rf,file='iris.rf.RData')
> iris.rf.pmml<-pmml(iris.rf)
> saveXML(iris.rf.pmml,file='iris.rf.xml')

iris.rf.RData-> 4kb iris.rf.xml-> 59kb

这个因素恒定吗？ 我的模型的pmml版本在磁盘上会是〜150mb吗？

Answer 1

不幸的是，R pmml软件包确实具有内存和速度限制。 发布当前版本时，我没有意识到“大数据”有多大！ 我应该补充一点，Windows的内存效率不是很好。 有很多模型我无法在Windows机器上输出....但是能够更快地产生完全相同的模型，并且可以在Linux或Mac计算机中更好地利用内存。 对于下一个发行版，我一直在进行改进，但目前，基于对500个树的RF模型进行的实验，将其应用于具有50个变量和50000行（〜18Mb）的数据集时， pmml模型是5hrs（Linux机器）。 一棵树上的平均节点数为4000。经验法则是，用来存储pmml对象的内存约为R对象的2.5倍。 仅用于将对象另存为xml文件的内存是一个主要因素。 在包装的当前状态（尚未发布）中，花了1小时15分钟而不是5小时。 上面的数字是针对Linux机器的。。。我希望它们是Windows机器的两倍以上。 请考虑使用非Windows机器来分析大型数据集； 我确信这适用于大多数R包...而不仅仅是PMML！

Answer 2

使用大型随机森林模型时，可以使用r2pmml软件包 。 该软件包依赖于Java PMML类模型和XML库。 结果，它比标准pmml软件包快一千倍。 无论在Windows还是* NIX上使用，其性能都是相同的。 考虑到所有因素，您的模型应该可以在几秒钟内导出。

我已经使用r2pmml库在笔记本电脑上大约一分钟的时间内导出了5 GB的Random Forest PMML文件。 诀窍是为JVM提供足够的堆大小，从而使其不需要进行大量垃圾收集：

options(java.parameters = c("-Xms8G", "-Xmx16G"))

library("r2pmml")

model.rf <-randomForest(x = data[,2:76], y = data[,1], type = 'regression', ntree = 150)

r2pmml(model.rf, "/tmp/rf.pmml")