在Windows上,我在使用library(doparallel)遇到困难,它在几次glmnet调用后似乎崩溃了

因此,我正在尝试将future软件包( https://github.com/HenrikBengtsson/future )与glmnet但是我不确定在此处进行操作的最佳方法是什么。

这是一个简单的示例(非并行化)

X = matrix(rnorm(1e4 * 200), 1e4, 200)
Y = rnorm(1e4)
system.time(cv.glmnet(X, Y))
user  system elapsed 
3.42    0.22    3.67 

我如何使用Future来使用我的所有4个核心(在我的本地计算机上-没有像在R中并行执行glmnet那样的分布式集群)

谢谢!

#1楼 票数:2 已采纳

这似乎有效。 至少用户时间要短得多,但是由于并行开销而增加了系统时间。

library("doFuture")
registerDoFuture()
plan(multiprocess, workers = 4L)

system.time(cv.glmnet(X, Y, parallel = TRUE))

user  system elapsed 
0.46    0.17    5.59 

versus

system.time(cv.glmnet(X, Y))
   user  system elapsed 
   2.33    0.05    2.39 

  ask by ℕʘʘḆḽḘ translate from so

未解决问题?本站智能推荐:

1回复

使用“glmnet”包进行一步预测-cv.glmnet

我正在尝试在glmnet包中计算一步预测。 下面是一个例子: 我收到以下错误: 如果有人可以帮助处理这个问题,我将不胜感激。
2回复

R-使用glmnet和purrr/tidyr

我正在关注此R Bloggers 链接中的代码,以便使用tidyr和purrr在我的数据中的组上运行模型。 但是,我想在我的嵌套数据上使用glmnet而不仅仅是lm 。 与lm不同, glmnet / cv.glmnet将model.matrix作为x参数,我需要抽象提供给该model.ma
1回复

使用分组数据进行glmnet交叉验证

我正在使用glmnet来存储Web数据。 通常,数据是分类的(因素的高基数),并且具有数百万个样本。 我正在处理“大数据”,并希望提高内存效率 。 因为它是分类的,所以可以通过分组和传递每组的成功和失败次数来更有效地表示数据:例​​如“男性”,“ 30-35”:成功30次,失败50次
1回复

glmnet在使用预测时产生错误

我似乎对glmnet有问题。 我想运行常规 LASSO 回归以了解 10 个变量( Dim1 、 Dim2 ...)中的Dim2一个对预测我的连续变量ptScores贡献最大。 所有变量都是连续的, validInd是一个data.frame, trainingData和validationData
1回复

使用glmnet获取系数的z分数

我正在使用glmnet包来获得 LASSO 估计,如下所示: 我能够使用coef(model)提取系数,但是,我无法找出获取每个变量的标准误差和Z 分数的方法。 有人可以帮忙吗? 谢谢,
2回复

使用RStudio安装glmnet包时出错

我一直在尝试从RStudio安装glmnet包。 我的系统上运行着 Ubuntu 18.04。 这是我用过的命令 我一直无法安装该软件包。 以下是错误信息。 请帮帮我。 我也试过install.packages("glmnet",dependencies="TRUE")但安装时仍然出错。 @sai
2回复

我可以使用带插入符号和稀疏矩阵的glmnet吗?

使用glmnet给我的一大好处是能够直接使用稀疏矩阵而无需转换它们。 这里的帖子似乎表明,插入符号的列车功能只能接收训练集的数据帧,而“caret :: train”表示相同。 实际情况如此吗?
1回复

在二项式数据错误上使用glmnet

我导入了一些数据,如下所示 我收到以下错误。 有什么好的解决办法?