cost 196 ms
并行写入数据库 R - Writing to database in parallel in R

我尝试编写一个表,该表是全局数据变量的已处理子集,在正常的 for 循环中,这段代码工作正常,但是当我尝试并行执行时,它会引发错误。 这是我的一段代码; 此代码引发此错误; 就像我之前在普通 for 循环中所说的那样,它工作正常。 提前致谢。 ...

在 R 中使用 foreach 和 %dopar% 对索引进行并行计算的问题 - Problem with parallel computing over an index using foreach and %dopar% in R

我正在尝试有效地编写 KDN 复杂性度量的计算代码,这涉及对距离矩阵的所有行进行循环并从中进行一些计算。 我试图将此代码与foreach和%dopar%函数并行,但我没有实现任何运行时间减少。 我意识到由于 memory 管理,一些并行计算效率不高,但我不知道这是我的情况还是我做错了什么。 这是一个 ...

为什么使用 R 的 foreach() %dopar% 构造打印的 pdf 文件会损坏且无法读取? - Why do pdf files that are printed using R's foreach() %dopar% construct turn out corrupted and unreadable?

我在下面有一个最小的可重现示例脚本,它将相同的图写入两个 pdf 文件,首先是串行的,使用标准 for 循环,然后是并行的,使用 R 的foreach() %dopar%构造: The first two output files, test_serial_one.pdf and test_se ...

如何在 R 中使用 tidyverse 并行汇总和绑定大型数据集? - How do I summarise and bind large data sets in parallel using tidyverse in R?

我有几个大型的日常数据集,我需要按月汇总和绑定到 R 中。 由于数据集太大,我想并行进行汇总,以便更快。 我已经成功地用常规循环总结和绑定它们,但总结部分需要整晚。 数据集如下所示: 而且我要 现在我收到警告关闭未使用的连接 62 (<-localhost:11439) 谢谢! ...

r markdown 如果并行运行会产生重复 - r markdown generates duplicates if run in parallel

我正在通过 r markdown 生成几份报告。 如果我一个一个地做——一切都好。 如果我使用 %do% - 也可以。 如果我使用 %dopar% - 3 个选项: 有时没关系。 有时报告名称不同但内容相同。 有时 pandoc 失败并出现错误:pandoc 文档转换失败并出现错误 1 如何解决? ...

接收来自 R 未来在 Slurm 上的 RStudio 服务器上运行的结果时出错 - Error receiving results from R future running on RStudio server on Slurm

我一直在努力寻找可能有助于解决问题的相关答案,但经过数百次谷歌搜索后,我觉得我很不走运。 我想知道是否有人可以指出问题出在哪里。 我正在使用简单的 data.table 代码与 future + doparallel (doFuture) 并行运行。 我在 slurm 服务器上使用一个 122 ...

R:如何存储 foreach 循环的输出? - R: how to store the output of a foreach loop?

我正在尝试将 foreach 循环的输出存储在 R 中。我使用的代码如下: 所以基本上我遵循存储 for 循环输出的逻辑,首先创建一个空列表tweets_all ,然后将每次迭代的输出放入该列表中。 但是,输出没有存储在tweets_all tweets_all仍然是空的。 虽然上面代码的输出是 ...

并行化 foreach 循环中的种子设置问题 R - Issues with seed setting in parallelised foreach loop R

我有一些要并行运行的测试。 当我使用 foreach() 执行此操作时,我得到了预期的 output,共 20 个测试 - 迭代对: Output: 但是,当我尝试向此循环添加一个步骤以设置随机种子时,如 doRNG vi.nette 中所述,每次迭代我得到不同数量的测试(14 个测试迭代对): ...

将不同类型的任务分配给同一个“foreach”循环 - Assigning different types of tasks to the same `foreach` loop

许多人都熟悉foreach()以使用%dopar%在多个内核之间并行分配循环。 但是,在R中,您如何发送单个作业请求以进行跨核心分配的各种不同类型的任务? 这是我使用eval()和expression()的最小工作示例/解决方案,但如果这是次优的,我愿意接受替代方案。 ...

doRNG 和顺序随机数因同一种子而不同 - R(foreach、doParallel、doRNG) - doRNG and sequential random numbers differ with same seed - R (foreach, doParallel, doRNG)

我正在做一个模拟,它对样本数量重复一些独立的计算。 我想让它平行以加快速度。 在每个示例中,我生成一些随机数(使用 rnorm)。 我读到(并看到)doParallel 数是不可重复的,所以我想使用 doRNG(实际上它会根据核心数量独立生成相同的随机数。但是令我惊讶的是,doRNG 生成的数字与 ...

R 中 foreach 循环的结果 - results from foreach loop in R

我有一个 function,我需要在 2000 个数据帧上运行。 每次迭代都需要很长时间,即近 40 分钟,因此我在 R 中使用“foreach”package。我通过以下方式生成了数据: 现在我已经定义了我的目标 function,它将针对上面定义的列表中的每个数据集进行优化: 最后,我使用 fo ...

哪个R package适合并行计算? 如何加速给定的代码? - Which R package is suitable for parallel computing? How to speed up the given code?

哪个R package最适合并行计算? 我对专注于处理时间/矢量化/用户友好语法的建议感兴趣(寻找 01.2022 有效的信息(包括新颖性))。 这是问题的第二部分: 我想遍历一个大列表中的许多(数千个)向量,所以我想加快速度。 这是我可以做的一个例子。 在 for 循环中,我放了一些简单的重新缩 ...

r - 使用 DoParallel 进行并行计算会导致错误 - r - Parallel Computing using DoParallel result in errors

我尝试使用 DoParallel 来加快顺序蒙特卡罗模拟的处理时间。 但是由于某种原因,我得到了几个错误,我不知道这些错误是什么原因造成的。 这是我写的代码: 我收到以下错误消息: 和 我不清楚这些错误来自哪里。 什么可能导致这些错误? ...

在 R 中的 Parlapply 内创建数据框 - Data frame creation inside Parlapply in R

我正在尝试一些非常简单的事情,想要并行运行一堆回归。 当我使用以下数据生成器(第 1 部分)时,并行部分不起作用并给出下面列出的错误 以下并行部分确实有效,但如果我将数据生成为第 2 部分 我将要并行运行的 function 配置为... 所以我写了以下运行parlapply的方式 但是每当我在做第 ...

如何处理 Shiny 应用程序部署中的文件计数超出限制错误 - How to handle file count excesses limit error in Shiny App deployment

我有一个包含很多文件的 Shiny 应用程序。 当我点击rsconnect::deplopApp时遇到以下错误: 所有文件都是.RData并且它们不能即时计算,因为它会占用大量时间。 我尝试了parallel和doParallel但在 shinyapp.io getDoParRegistered() ...

是什么触发了“Ancestor must be an environment”错误? - What triggers "Ancestor must be an environment" error?

我正在使用foreach运行并行计算以同时处理大量时间序列。 在这些计算中(在一个名为compute_slope()的 function 中,我做了这样的事情 所以,这是非常简单的事情:使用参数TMax 、 delta和m我在左侧和右侧截断时间序列(使用filter() ),然后我对截断的时间序列 ...

NULL 值在 foreach 循环 R 中作为符号地址错误传递 - NULL value passed as symbol address error in foreach loop R

我以前从来没有遇到过这个问题,但是当我尝试在 R 中使用 foreach 循环时遇到了这个错误:“{中的错误:任务 1 失败 - “NULL 值作为符号地址传递”。 我几乎不可能产生一个小的,可重复的例子(我已经尝试过。)因为我试图从巨大的栅格中提取数据并从该数据中制作 csv 文件,但是。 这是我 ...

带有 doParallel 的 foreach 不适用于超过 1 个核心 - foreach with doParallel doesn't work with more than 1 core

启动此 function 时遇到问题: 当我用 1 个核心运行它时,它可以工作。 当我的 go 有 2 个或更多内核时,它没有进入我的 foreach function,没有任何反应,我也没有错误。 我可能会错过一些东西,但经过大量搜索后,无法找到解决方案! 有人可以给我这个案子的提示吗? ...

makeCluster 在 Windows 上挂起 - 并行包 - makeCluster hangs on Windows - parallel package

我曾尝试使用并行包在我的 Windows 10 笔记本电脑上的 R 中运行简单的并行化,但是当它到达 makeCluster 函数时,它只是挂在那里。 我尝试在 GUI 上运行,不同数量的内核,更改 Windows 防火墙上的设置并使用雪包,但无济于事。 这是我一直在使用的代码: 有没有遇到类 ...

2021-11-13 02:55:55   1   216    r / doparallel  

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM