监视进度/调试并行R脚本

Question

在快速并行化简单代码（ 降雪 ， foreach 等 ）的选择中，有哪些选项可以显示所有从属进程的进度？ 这方面的任何产品都表现出色吗？

我已经看到降雪1.70有sfCat() ，但它似乎没有输出到主R会话。

Answer 1

这就是它可以变成黑色艺术的地方......我注意到你没有列出MPI或PVM - 那些并行计算的旧工作确实有监视器。 您可以通过走出R并依靠作业调度程序（slurm，扭矩......）找到解决方案

如果你不能这样做（嘿，有理由我们喜欢简单的雪，foreach，......）那么也许你可以改变你的工作，每N步记录一次'心跳'或进度信息。 您可以登录到文本文件（如果您有NFS或SMB / CIFS共享），登录到数据库，或者发送， 用R发送推文 。 它很可能是您的应用程序特有的，是的，它会有一些成本。