將參數傳遞給並行R作業

Question

我正在嘗試使用多核軟件包運行並行R作業。 每個工作都是執行具有不同參數的相同script.R 。

一般的想法是定義一個接受args的函數，然后調用source("script.R") 。 問題是我無法將args傳遞給script.R 。 由於我並行運行，因此無法在全局范圍內定義args。

歡迎任何幫助。

Answer 1

由於運行甚至可能在不同節點/計算機上的並行R實例，使用外部數據庫存儲參數可能是一個不錯的選擇。

我會使用redis，因為它在R中非常快並且可以完全訪問 ，並且對於它的兄弟doredis來說是並行運行的。

因此，您可能有一個Redis服務器（甚至每個主機上都有一個復制的從數據庫），可以從中獲取參數。 您甚至可以從R之外立即為所有工作人員更新參數，並可以使用doredis輕松為任務添加新工作人員。