標簽[parallel-foreach] - 堆棧內存溢出

[英]How to get simple dopar in R example working

我正在嘗試讓一個簡單的dopar示例起作用，以便我可以並行化一些非常昂貴的交叉驗證計算。當我運行以下代碼時，我的結果數組r填充了NA ：我在r數組中期望的結果是： ...

為什么使用 R 的 foreach() %dopar% 構造打印的 pdf 文件會損壞且無法讀取？

[英]Why do pdf files that are printed using R's foreach() %dopar% construct turn out corrupted and unreadable?

我在下面有一個最小的可重現示例腳本，它將相同的圖寫入兩個 pdf 文件，首先是串行的，使用標准 for 循環，然后是並行的，使用 R 的foreach() %dopar%構造： The first two output files, test_serial_one.pdf and test_se ...

SpatVector (terra) 子集在 R 中使用 foreach 並行

[英]SpatVector (terra) subset in parallel using foreach in R

我正在嘗試在foreach的幫助下並行從terra中子集SpatVector 。我的最終目標是使用特定多邊形從多個圖塊中提取柵格像素。像素的提取有效，但特定多邊形的子集無效。將下面的代碼作為此問題的可重現示例。如果有效，則無需顯示任何消息。生成的錯誤消息顯示Error in {: task ...

在 foreach 循環中保留柵格名稱

[英]Keeping raster names in a foreach loop

我正在大型光柵堆棧上運行焦點 function，並希望使用 foreach 加快進程。我可以使用以下代碼正確地 output 柵格，但是當我希望它們保留原始輸入柵格的名稱時，新創建的柵格堆棧為每個柵格提供了名稱“圖層”。通常在標准for循環中，我只是用names function 重命名柵格，但 ...

R 中 foreach 循環的結果

[英]results from foreach loop in R

我有一個 function，我需要在 2000 個數據幀上運行。每次迭代都需要很長時間，即近 40 分鍾，因此我在 R 中使用“foreach”package。我通過以下方式生成了數據：現在我已經定義了我的目標 function，它將針對上面定義的列表中的每個數據集進行優化：最后，我使用 fo ...

在 R package 中使用 Rcpp foreach 錯誤： <simpleerror in .call("<function_name> “……”<function name> “ 不適用於 package 的 Call() ”<package> "></package></function></simpleerror>

[英]foreach with Rcpp in R package error: <simpleError in .Call("<function_name>"..."<function name>" not available for .Call() for package "<package>">

我正在嘗試並行化Rcpp代碼。從這篇文章中，我能夠讓我的 MRE 運行並產生預期的 output 只需采購以下功能：但是，在 package 中構建並運行 function 后，output 更改為：這是我的 MRE 的代碼。它由兩個腳本組成。首先是Rcpp代碼：第二個是R代碼：這是 ...

Parallel.ForEach：Break 和 ParallelLoopState.LowestBreakIteration。該怎么辦？

[英]Parallel.ForEach: Break and ParallelLoopState.LowestBreakIteration. What to do about it?

在 microsoft 上的這篇文章中，在 Parallel.For 方法的示例中，有一個 Break 調用和對 ShouldExitCurrentIteration 和 LowestBreakIteration 等屬性的處理，方式如下： LowestBreakIteration 存儲調用 Br ...

並行處理 - 合並結果

[英]Parallel processing - combining results

我在下面管理了並行運行我的任務：但是，我目前將rbind作為 function foreach中的combine參數，因此，結果為 no。行數 = nrow(df)* 沒有。循環數：然后我可以做df[, .(sum(flag_matched)), text] 。但是，還有另一種組合結果的方 ...

“checkForRemoteErrors(val) 中的錯誤：2 個節點產生錯誤；第一個錯誤：找不到 function “wincrqa”

[英]"Error in checkForRemoteErrors(val) : 2 nodes produced errors; first error: could not find function "wincrqa"

我目前正在嘗試使用以下代碼運行並行化 RQA。不幸的是，我得到了這個：“ checkForRemoteErrors(val) 中的錯誤：2 個節點產生錯誤；第一個錯誤：找不到 function “wincrqa” 我知道在設置並行處理時可能存在總和錯誤，但我無法解決它。我也使用 paral ...

C# Parallel.ForEach 和 Task.WhenAll 有時返回的值少於預期

[英]C# Parallel.ForEach and Task.WhenAll sometimes returning less values then supposed

我有這個：有時在到達 foreach(var task in tasks) 時返回較少的任務，但在幾次請求后，開始返回所有任務。我已將 ConfigureAwait 更改為 true，但有時仍會返回較少的任務。順便說一句，我使用 Parallel.ForEach 是因為每個 client.Ge ...

從並行 foreach 循環中獲取多個值

[英]Get multiple values out of parallel foreach loop

我試過搜索，但沒有找到任何讓我一路走來的東西。我在三個柵格的堆棧上運行占用預測 model。由於需要進行大量處理，我正在使用並行 foreach 循環。我需要從循環的結果中檢索三個變量：test、na 和 pred。我需要這三個值來填充新的柵格值並保持相同的范圍。除非有人知道如何填補處理過 ...

我需要一個 function 來創建一個新變量，例如 Y_(i,t)，方法是在面板數據集中貶低 X_(i,t) 變量，其中時間 T = 18 和國家/地區 n = 48

[英]I need a function to create a new variable, say Y_(i,t) by demeaning X_(i,t) variable in a panel data set where time, T =18 and countries, n = 48

我是 R 應用程序的新手。我需要一個 function 來創建一個新變量，例如 Y_(i,t)，方法是在面板數據中貶低 X_(i,t) 變量，時間 T = 18 和國家/地區，n = 48。即 Y_(i,t ) = X_(i,t) - x_bar(i) 其中 x_bar(i) 是特定國家/地區的 ...

R並行任務中如何刪除臨時文件

[英]How to delete temporary files in parallel task in R

是否可以從並行化的 R 任務中刪除臨時文件？我依靠 R 中的doParallel和foreach的並行化來對巨大光柵文件的小子集執行各種計算。這涉及多次裁剪大型柵格的子集。我的基本語法類似於：該算法工作得很好，達到了我想要的效果。但是，每次調用raster::crop(data, ext) ...

doParallel 比順序處理慢

[英]doParallel goes slower than sequential processing

我正在嘗試使用doParallel包並按照此處的教程在 RStudio 的本地安裝或 RStudio 雲上進行並行處理。不幸的是，打開並行處理似乎會減慢計算速度，而不是加快計算速度。試運行：沒有並行處理的結果打開並行處理后的結果 - 需要 2 倍的時間！多奇怪！有小費嗎？ ...

在 R foreach() 下並行運行時無法識別動態庫依賴項

[英]Dynamic library dependencies not recognized when run in parallel under R foreach()

我正在使用Rfast包，它導入包RcppZiggurat 。我在 Linux 集群（Red Hat 6.1）上運行 R 3.6.3。這些軟件包安裝在我的本地目錄中，但 R 安裝在系統范圍內。當我直接調用它們時，Rfast 函數（例如colsums() ）運行良好。但是當我在foreach( ...

在 R 中使用 doSNOW 和 foreach 時，您可以取消“類型：EXEC”和“類型：DONE”output 嗎？

[英]Can you surpress the "Type: EXEC" and "Type: DONE" output when using doSNOW and foreach in R?

我正在使用 doSnow 和 foreach 並行發送一堆消息，但是它們使我的日志變得混亂，使它們難以解析。下面的簡單示例：輸出以下內容：我只想讓它打印所有“很酷”的語句。你能做這個嗎？有沒有我可以在雪中設置允許打印的選項，但不能設置其他東西？ ...

使用 clustermq R package 作為 foreach 的並行后端

[英]Using clustermq R package as a parallel backend for foreach

我已經開始使用 clustermq package 作為 drake 管道的並行后端，並且對我觀察到的性能改進印象深刻。我有興趣評估在 drake 之外的設置中使用 clustermq / rzmq，但似乎無法使用用戶指南中列出的 foreach 示例（在標題為“作為並行 foreach 后端” ...

R - 有沒有辦法創建嵌套的 %dopar% foreach 循環？

[英]R - is there a way to create a nested %dopar% foreach loop?

我在一個有 64 個核心的工作站上處理日常系列的衛星圖像。對於每個圖像，我使用foreach循環對所有像素執行一些代數運算。一些測試表明，這個foreach循環的最佳核心數是 20。這大致就是我現在正在做的事情：我只需要加載一次衛星圖像，因此此代碼中涉及的 I/O 處理非常少。所以肯定有 ...

如何在並行 foreach 中使用 %like% 運算符

[英]How to use %like% operator inside a parallel foreach

我正在使用使用 dopar 的 foreach 來並行化任務。在語句中我使用了 %like%，但我遇到了錯誤 { 中的錯誤：任務 1 失敗 -“找不到函數“%like%” 我認為 like 只是 grep 的包裝器，是基礎包的一部分。誰能幫我嗎？ ...

如何使用R中的foreach循環修改共享對象？

[英]How to modify shared objects using foreach loop in R?

我試圖通過將其轉換為並行的 for-each 循環來加速 for 循環。但是，當需要修改某些共享對象時，會產生一些問題。一個玩具示例如下。 library(doParallel) registerDoParallel(cores = 4) a <- c() b <- c() fore ...